天天看點

Scrapy在PyCharm裡面運作,調試

首先通過csrapy shell指令建立一個scrapy項目。

 scrapy startproject projectname

Scrapy在PyCharm裡面運作,調試

會生成如下檔案

Scrapy在PyCharm裡面運作,調試

進入spider_405檔案夾

Scrapy在PyCharm裡面運作,調試

我們自己寫的爬蟲項目就放在spiders檔案夾裡面

 items.py是用來儲存你爬取的資料的資料結構

Scrapy在PyCharm裡面運作,調試

在scrapy.cfg同目錄下建立一個begin.py檔案

Scrapy在PyCharm裡面運作,調試

 在begin.py中編輯内容如下,注意紅框中是在spiders裡面name的值

Scrapy在PyCharm裡面運作,調試
Scrapy在PyCharm裡面運作,調試

之後調試程式時,運作begin.py檔案即可,調試資訊會在run框中列印輸出

Scrapy在PyCharm裡面運作,調試

轉載于:https://www.cnblogs.com/taoHongFei/p/8722037.html