天天看點

windows下搭建爬蟲架構scrapy

今天開始一個新的爬蟲架構scrapy,我們先看一下windows下搭建的

前言:搭建scrapy是一路的坑,費時費力,下載下傳時一定要選對版本,說多了都是血淚,玩python的小夥伴加油吧!

本文主要講解在windows上搭建scrapy的步驟,有興趣學習的話,可以先登入官網http://scrapy.org/基本浏覽一下,然後可以按照一面的步驟來完成環境的搭建。

​第一步:當然是安裝python了,本人安裝的是2.7.11 版本(一定要是2.7版本);可以到python的官網https://www.python.org/下載下傳然後輕按兩下運作,一路“下一步”即可完成安裝。安裝好後,将python的安裝目錄添加到系統變量中,這樣才能夠在控制台中輸入python進入,如下圖所示則說明安裝python成功了

windows下搭建爬蟲架構scrapy

填寫圖檔摘要(選填)

第二步:按照官網的提示,我們先安裝pywin32,在http://sourceforge.net/projects/pywin32/files/這裡點選進去後選擇對應的版本(注意要與安裝的python版本對應),下載下傳後也是輕按兩下運作,直接下一步一路完成。

第三步:安裝twisted,在其官網的下載下傳頁面http://twistedmatrix.com/trac/wiki/Downloads可以看到其還依賴幾個包

​1. 安裝zope.interface, 從這裡https://pypi.python.org/pypi/zope.interface#download下載下傳.我選擇了4.1.3版本,點選進去後,點選download按鈕即可,下載下傳完後也是輕按兩下運作,一路下一步即可完成。

​2. 安裝pyopenssl, 從這裡https://pypi.python.org/pypi/pyOpenSSL

下載下傳,注意要選擇對應python的版本。

3. 安裝twisted,在下載下傳頁面http://twistedmatrix.com/trac/wiki/Downloads

中我們可以看到

第三步:安裝lxml,在這裡https://pypi.python.org/pypi/lxml/下載下傳。

這裡先來一個統一驗證吧,小夥伴們可以安裝一個驗證一個

windows下搭建爬蟲架構scrapy

填寫圖檔摘要(選填)

最後一步:安裝scrapy​,下載下傳scrapy,在這裡https://pypi.python.org/pypi/Scrapy下載下傳安裝 pip install scrapy

windows下搭建爬蟲架構scrapy

填寫圖檔摘要(選填)

​到此,整個環境搭建成功!

最後簡單說幾句,python相關包的安裝有三種方式:

1、去相關網站下載下傳,安裝,如上;

2、cmd中用​easy_install,不建議,隻能裝不能卸;

3、pip install  這個還是比較強大的,其實安裝scrapy可以直接pip install scrapy ,順利的話可以一路暢通,不順也是按提示下載下傳安裝相關包即可。​