天天看點

Python:Scrapy儲存控制台資訊到文本

在Windows平台下,如果想運作爬蟲的話,就需要在cmd中輸入:

scrapy crawl spider_name
           

這時,爬蟲就能啟動,并在控制台(cmd)中列印一些資訊,如下圖所示:

Python:Scrapy儲存控制台資訊到文本

但是,cmd中預設隻能顯示幾屏的資訊,其他的資訊就無法看到。

如果我們想檢視爬蟲在運作過程中的調試資訊或錯誤資訊的話,會很不友善。

此時,我們就可以将控制台的資訊寫入的一個文本檔案中去,友善我們檢視。

指令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log
           

作者:曾是土木人(http://blog.csdn.net/php_fly)

原文位址:http://blog.csdn.net/php_fly/article/details/19679167