linux中爬蟲架構scrapy的快速安裝及搭建(一)

scrapy是一個快速、高層次的web抓取架構

1. 建立虛拟環境

   具體解釋看上一篇推文，

   輸入: >mkvirtualenv -p /usr/bin/python3 Articlespider

   

2. 安裝scrapy

   可以直接使用:>pip install scrapy下載下傳，但是速度比較慢

   也可以尋找鏡像下載下傳(我這裡用的清華大學的)：>pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

   安裝如果提示： Failed building wheel for xxx

   可以在 https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 找到對應的安裝包進行安裝

3. 在pycharm中建立scrapy項目

   在Documents中建立一個檔案夾scrapy，在指令行中進入scrapy檔案夾：>cd /home/ailiya/Documents/scrapy

   在檔案夾中建立scrapy項目：>scrapy startproject Articlespider

   進入項目：>cd Articlespider

4. 在pycharm中導入Articlespider

   file->new project->

   

   在location中填寫Articlespider的位置打開：

   

5. 建立爬蟲檔案夾

   在指令行中輸入：>scrapy genspider jobbole blog.jobbole.com(爬蟲的網站）

   打開pycharm，可以看到檔案夾建立成功