天天看點

scrapy 爬取百度知道,多spider子一個項目中,使用一個pielines

爬取過程中 遇見 百度蜘蛛反爬 robot.txt,我們可以在scrapy 的setting.py 配置檔案下配置

最終代碼

如果有多個spider在一個項目中,可以在pipelines.py中這樣寫