天天看点

scrapy-redis 和 scrapy-splash结合 做分布式渲染爬取(1)普通爬虫中,(2)scrapy-redis中,和上面相同

本人在scrapy-redis项目中的setting.py中配置,可时中有问题。但是可以使用以下方法:

首先,你要确保安装了splash,并且已经启动

(1)先安装scrapy-splash库:

pip install scrapy-splash  

scrapy-redis 和 scrapy-splash结合 做分布式渲染爬取(1)普通爬虫中,(2)scrapy-redis中,和上面相同

docker run -p 8050:8050 scrapinghub/splash

在原有scrapy-redis项目基础上,只需要在spider中重写生成request的方法即可。主要原理时是把url转发给splash,让splash解析后返回

注意:如果是scrapy,并且没有使用scrapy-redis可以使用配置的方法,参见 http://blog.csdn.net/u013378306/article/details/54409215