本人在scrapy-redis項目中的setting.py中配置,可時中有問題。但是可以使用以下方法:
首先,你要確定安裝了splash,并且已經啟動
(1)先安裝scrapy-splash庫:
pip install scrapy-splash
docker run -p 8050:8050 scrapinghub/splash
在原有scrapy-redis項目基礎上,隻需要在spider中重寫生成request的方法即可。主要原理時是把url轉發給splash,讓splash解析後傳回
注意:如果是scrapy,并且沒有使用scrapy-redis可以使用配置的方法,參見 http://blog.csdn.net/u013378306/article/details/54409215