天天看點

在Pycharm中運作Scrapy爬蟲項目的基本操作

目标在Win7上建立一個Scrapy爬蟲項目,以及對其進行基本操作。運作環境:電腦上已經安裝了python(環境變量path已經設定好),

以及scrapy子產品,IDE為Pycharm 。操作如下:

  一、建立Scrapy模闆。進入自己的工作目錄,shift + 滑鼠右鍵進入指令行模式,在指令行模式下, 

輸入scrapy startproject 項目名 ,如下:

在Pycharm中運作Scrapy爬蟲項目的基本操作

看到以上的代碼說明項目已經在工作目錄中建好了。

  二、在Pycharm中scrapy的導入。在Pycharm中打開工作目錄中的TestDemo,點選File-> Settings->Project: TestDemo->Project Interpreter。

法一: 如圖,

在Pycharm中運作Scrapy爬蟲項目的基本操作

選擇紅框中右邊的下拉菜單點選Show All, 如圖:

在Pycharm中運作Scrapy爬蟲項目的基本操作

點選右上角加号,如圖:

在Pycharm中運作Scrapy爬蟲項目的基本操作

在紅色框體内找到電腦裡已經安裝的python,比如我的是:

C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\python.exe , 導入即可。

之後,pycharm會自動導入你已經在電腦上安裝的scrapy等子產品。如圖,即紅色框體中顯示的。

在Pycharm中運作Scrapy爬蟲項目的基本操作

法二:一個不那麼麻煩的方法。如圖:

在Pycharm中運作Scrapy爬蟲項目的基本操作

點選紅色框體,在彈出的框體内另安裝一個scrapy, 如圖:

在Pycharm中運作Scrapy爬蟲項目的基本操作

需要安裝的子產品,如圖:

在Pycharm中運作Scrapy爬蟲項目的基本操作

子產品自下而上進行安裝,其中可能出現twisted包不能成功安裝,出現

Failed building wheel for Twisted

Microsoft Visual C++ 14.0 is required...

的現象,那就搜一解決方案,這裡不多說了。

三、Pycharm中scrapy的運作設定。

   法一:Scrapy爬蟲的運作需要到指令行下運作,在pychram中左下角有個Terminal,點開就可以在Pycharm下進入指令行,預設

是在項目目錄下的,要運作項目,需要進入下一層目錄,使用cd TestDemo 進入下一層目錄,然後用scrapy crawl 爬蟲名 , 即可運作爬蟲。

如圖:

在Pycharm中運作Scrapy爬蟲項目的基本操作
在Pycharm中運作Scrapy爬蟲項目的基本操作

  法二:在TestDemoSpider目錄和scrapy.cfg同級目錄下面,建立一個entrypoint.py檔案,如圖:

在Pycharm中運作Scrapy爬蟲項目的基本操作

其中隻需把紅色框體内的内容改成相應的爬蟲的名字就可以在不同的爬蟲項目中使用了,直接運作該檔案就能使得Scrapy爬蟲運作

Tips:在建立爬蟲時使用模闆更加友善一些,如:

 scrapy genspider [-t template] <name> <domain>   即:scrapy genspider testDemoSpider baidu.com