轉自:https://blog.csdn.net/zjiang1994/article/details/52689144
寫在前面
最近在學習爬蟲,在熟悉了Python語言和BeautifulSoup4後打算下個爬蟲架構試試。
沒想到啊,這坑太深了。。。
看了看相關介紹後選擇了Scrapy架構,然後興高采烈的打開了控制台,
pip install Scrapy
複制
- 1

坑出現了。。。。
運作報錯
error: Unable to find vcvarsall.bat
複制
- 1
開始上網查解決方法。。
看了大多數方法,基本上的解決方法就是下載下傳版本對應的visual studio,但是也太大了。。。。。。而且網速看不下去啊。。。
最後花費了将近一天的時間,終于找到了解決方法。
使用wheel安裝。
這個網站裡邊是編譯好的各種庫的
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
同時,推薦一篇我的Scrapy入門執行個體部落格:
scrapy爬蟲架構入門執行個體
希望可以幫到剛接觸python和scrapy的同學。
安裝方法
首先安裝wheel
pip install wheel
複制
- 1
安裝完成後驗證是否成功
wheel
複制
- 1
安裝成功是這樣
然後去上邊的網站下載下傳Scrapy庫,
進到網站=>搜尋’Scrapy’=>下載下傳
把下載下傳的.whl檔案放在一個容易尋找的位址(我放在了D:\)
然後在控制台進入該位址
在該位址下輸入
pip install [whl]
複制
- 1
注:[whl]表示你的.whl檔案,一定要全名,XXXX.whl
然後,并沒有結束。。。。。
安裝過程還是有可能失敗
可能會出現
Failed to build XXXX
複制
- 1
之類的提示一閃而過(比如說我提示的 twisted),最後安裝失敗還是提示
error: Unable to find vcvarsall.bat
複制
- 1
為什麼會這樣那,因為Scrapy架構基于Twisted
是以,要做的就是去網站下載下傳Twisted之類的安裝檔案,先把它們裝上,安裝方法和上邊的相同。
最後終于成功了。
建個項目測試一下
scrapy startproject pyjy
複制
- 1
注:pyjy為項目名
成功了,撒花~~