天天看點

Scrapy爬取新浪天氣問題

最近學習爬蟲架構Scrapy架構第一個執行個體-爬取新浪天氣,然後就遇到報錯:TypeError: 'float' object is not iterable

D:\scrapy\weather>scrapy crawl myweather -o wea.json

......

2017-03-15 12:25:45 [scrapy] ERROR: Error downloading <GET http://weather.sina.com.cn/robots.txt>: 'float' object is not iterable

Traceback (most recent call last):

......

TypeError: 'float' object is not iterable

2017-03-15 12:25:46 [scrapy] ERROR: Error downloading <GET http://weather.sina.com.cn>

TypeError: 'float' object is not iterable

......

在網上查閱發現是版本不比對的問題,scrapy版本:1.1.1 twisted版本:17.1.0

twisted版本需要降低

在指令行輸入conda install twisted=16.6.0

Scrapy爬取新浪天氣問題

安裝完成後執行scrapy crawl myweather -o wea.json即可