Ubuntu中安装分布式爬虫具体步骤

Ubuntu中安装分布式爬虫具体步骤

1、在win10系统中，安装Ubuntu 18应用。

1）Microsoft Store搜索Linux

2）可以搜索到多个Linux发行版本，下面以Ubuntu为例。

3）下载安装Ubuntu，想打开软件一样打开。 这时候会遇到 Error:0x8007007e

4）解决方法如下：

控制面板-程序和功能-启用或关闭Windows功能-适用于Windows的Linux子系统 勾选。

5）完成后重启系统。再次打开Ubuntu，会提示：

Installing, this may take a few minutes…

6）大概要5分钟左右，等会就可以进入Ubuntu了，如下：

2、进入Ubuntu中，安装Python3.6（默认Linux中Python版本为2.7）

sudo apt-get update（更新Ubuntu中已有软件）

sudo apt-get install python3.6

3、更新已安装的Linux组件

在步骤二中，进行第一个命令行的操作后即可。

4、安装gcc组件

sudo apt-get install gcc

5、将默认Python版本，更改为Python3.6

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100

sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

验证：

6、安装redis数据库

sudo apt-get install redis-server

7、安装Scrapy-Redis框架（此处如果出现pip错误提示，则进入下一步更新pip组件）

pip install scrapy-redis

或下载安装

8、更新pip组件

可能出现的坑：由于更改了默认python版本，可能导致pip组件无法使用，提示类似错误：

重新安装pip组件：

sudo apt install python3-pip

验证：

9、启动Redis数据库验证

首先，查看 redis 是否启动

$ redis-cli

以上命令将打开以下终端：

redis 127.0.0.1:6379>

127.0.0.1 是本机 IP ，6379 是 redis 服务端口。现在我们输入 PING 命令。

redis 127.0.0.1:6379> ping

PONG

以上说明我们已经成功安装了redis。

然后，启动redis服务

sudo redis-server

出现以下提示信息：

10、测试是否能远程登陆

使用 windows 的命令窗口进入 redis 安装目录，用命令进行远程连接 redis：

redis-cli -h 192.168.1.112 -p 6379

得到以下终端提示，表示远端连接成功：

redis 127.0.0.1:6379>