在Windows平台下,如果想運作爬蟲的話,就需要在cmd中輸入:
scrapy crawl spider_name
這時,爬蟲就能啟動,并在控制台(cmd)中列印一些資訊,如下圖所示:
但是,cmd中預設隻能顯示幾屏的資訊,其他的資訊就無法看到。
如果我們想檢視爬蟲在運作過程中的調試資訊或錯誤資訊的話,會很不友善。
此時,我們就可以将控制台的資訊寫入的一個文本檔案中去,友善我們檢視。
指令如下:
D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log
作者:曾是土木人(http://blog.csdn.net/php_fly)
原文位址:http://blog.csdn.net/php_fly/article/details/19679167