本人在scrapy-redis项目中的setting.py中配置,可时中有问题。但是可以使用以下方法:
首先,你要确保安装了splash,并且已经启动
(1)先安装scrapy-splash库:
pip install scrapy-splash
docker run -p 8050:8050 scrapinghub/splash
在原有scrapy-redis项目基础上,只需要在spider中重写生成request的方法即可。主要原理时是把url转发给splash,让splash解析后返回
注意:如果是scrapy,并且没有使用scrapy-redis可以使用配置的方法,参见 http://blog.csdn.net/u013378306/article/details/54409215