使用Scrapyd部署爬虫

使用Scrapyd部署爬虫

Scrapyd：

一个部署和运行Scrapy爬虫的应用程序，它使用户能在网页查看正在执行的任务，能通过JSON API部署（上传）工程和控制工程中的爬虫，如新建爬虫任务、终止爬虫任务等。

1.要使用Scrapyd部署，需要安装Scrapyd

pip install scrapyd
           

2.运行Scrapyd

>scrapyd
           

默认情况下，Scrapyd监听0.0.0.0:6800端口，用浏览器开：http://localhost:6800/,就能看到Scrapyd已经成功运行。单机页面的Jobs查看已经部署的爬虫，单击Logs查看日志信息。

3.将代码上传并部署到Scrapyd，需要使用一个专门的打包上传工具scrapyd-client

>pip install scrapyd-client
           

4.将本地Scrapy项目中的scrapy.cfg配置文件进行配置

[settings]
default = lianjia01.settings
[deploy]
url = http://localhost:6800/
project = lianjia01
           

5.scrapyd-client为用户提供了scrapyd-deploy命令，用来打包和上传爬虫代码。

Windows下，使用此命令，可能会出现：“‘scrapyd-deploy’ 不是内部或外部命令，也不是可运行的程序或批处理文件。”的提示。在Python的scripts目录，能发现一个scrapy-deploy的文件，但也无法执行。解决办法

进入Python的scripts目录，创建scrapy.bat、scrapyd-deploy.bat两个文件。

5.1编辑scrapy.bat:

@echo off
C:\ProgramData\Anaconda3\python C:\ProgramData\Anaconda3\Scripts\scrapy %*
           

5.2编辑scrapyd-deploy.bat:

@echo off 
    C:\ProgramData\Anaconda3\python    C:\ProgramData\Anaconda3\Scripts\scrapy-deploy %*
           

6.命令行进入到某个爬虫项目目录，执行命令：

>scrapyd-deploy
           

#####报错问题

>scrapyd-deploy
'scrapyd-deploy' 不是内部或外部命令，也不是可运行的程序
或批处理文件。
           

6.1原因

scrapyd和scrapyd-client版本不兼容！

直接pip安装的scrapyd版本为1.2.0，scrapyd-client版本为：1.1.0

6.2解决(或第5步)

安装一个版本和scrapyd相适应的scrapyd-client

pip install scrapyd-client==1.2.0a1
           

6.3再次执行

>scrapyd-deploy

6.4若提示部署status状态是OK，说明爬虫部署成功。如果想启动爬虫，可以输入：

project后面是项目名称，spider后面是爬虫名称

>curl http://localhost:6800/schedule.json -d project=lianjia01 -d spider=lianjia
           

7.在浏览器打开：http://localhost:6800/，查看爬虫运行情况。

8.如果代码发生改变，可以重新打包部署，Scrapyd默认执行最新的版本

9.如果要部署到远程服务器，Scrapy项目中scrapy.cfg文件的URL需要配置为远程服务器的地址

10.Scrapyd还提供了很多方便的命令，如停止一个爬虫的命令为

>curl http://localhost:6800/cancel.json -d project=lianjia01 -d job=JOB_ID
           

JOB_ID从web控制台PID获得

注意：在使用远程部署的时候，要注意安全问题

链家经纪人爬取源码