天天看點

scrapy-redis 和 scrapy-splash結合 做分布式渲染爬取(1)普通爬蟲中,(2)scrapy-redis中,和上面相同

本人在scrapy-redis項目中的setting.py中配置,可時中有問題。但是可以使用以下方法:

首先,你要確定安裝了splash,并且已經啟動

(1)先安裝scrapy-splash庫:

pip install scrapy-splash  

scrapy-redis 和 scrapy-splash結合 做分布式渲染爬取(1)普通爬蟲中,(2)scrapy-redis中,和上面相同

docker run -p 8050:8050 scrapinghub/splash

在原有scrapy-redis項目基礎上,隻需要在spider中重寫生成request的方法即可。主要原理時是把url轉發給splash,讓splash解析後傳回

注意:如果是scrapy,并且沒有使用scrapy-redis可以使用配置的方法,參見 http://blog.csdn.net/u013378306/article/details/54409215