Ubuntu中安裝分布式爬蟲具體步驟

Ubuntu中安裝分布式爬蟲具體步驟

1、在win10系統中，安裝Ubuntu 18應用。

1）Microsoft Store搜尋Linux

2）可以搜尋到多個Linux發行版本，下面以Ubuntu為例。

3）下載下傳安裝Ubuntu，想打開軟體一樣打開。 這時候會遇到 Error:0x8007007e

4）解決方法如下：

控制台-程式和功能-啟用或關閉Windows功能-适用于Windows的Linux子系統 勾選。

5）完成後重新開機系統。再次打開Ubuntu，會提示：

Installing, this may take a few minutes…

6）大概要5分鐘左右，等會就可以進入Ubuntu了，如下：

2、進入Ubuntu中，安裝Python3.6（預設Linux中Python版本為2.7）

sudo apt-get update（更新Ubuntu中已有軟體）

sudo apt-get install python3.6

3、更新已安裝的Linux元件

在步驟二中，進行第一個指令行的操作後即可。

4、安裝gcc元件

sudo apt-get install gcc

5、将預設Python版本，更改為Python3.6

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100

sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

驗證：

6、安裝redis資料庫

sudo apt-get install redis-server

7、安裝Scrapy-Redis架構（此處如果出現pip錯誤提示，則進入下一步更新pip元件）

pip install scrapy-redis

或下載下傳安裝

8、更新pip元件

可能出現的坑：由于更改了預設python版本，可能導緻pip元件無法使用，提示類似錯誤：

重新安裝pip元件：

sudo apt install python3-pip

驗證：

9、啟動Redis資料庫驗證

首先，檢視 redis 是否啟動

$ redis-cli

以上指令将打開以下終端：

redis 127.0.0.1:6379>

127.0.0.1 是本機 IP ，6379 是 redis 服務端口。現在我們輸入 PING 指令。

redis 127.0.0.1:6379> ping

PONG

以上說明我們已經成功安裝了redis。

然後，啟動redis服務

sudo redis-server

出現以下提示資訊：

10、測試是否能遠端登陸

使用 windows 的指令視窗進入 redis 安裝目錄，用指令進行遠端連接配接 redis：

redis-cli -h 192.168.1.112 -p 6379

得到以下終端提示，表示遠端連接配接成功：

redis 127.0.0.1:6379>