Scrapy自定義設定

方式

• 一、settings.py
• 二、spider啟動參數

一、settings.py

# 可直接再settings.py中自定義設定
SVC_URL = 'http://localhost:8080/xx'
           

然後在Scrapy中通過spider.settings來擷取

# 在spider中通過self.settings
self.settings.get('SVC_URL')

# 在pipelines（擷取其他元件中）中通過參數spider擷取spider.settings
spider.settings.get('SVC_URL')
           

可通過啟動參數全局覆寫settings配置

scrapy crawl my_spider -s SVC_URL=http://localhost:8088/xxx
           

二、spider啟動參數

在通過scrapy crrawl啟動spider時可通過-a設定參數，并可在spider的初始化構造函數中通過同名參數進行擷取

# 示例
scrapy crawl my_spider -a param1=val -a param2=val
scrapy crawl generic_test -a batch_id=1 -a data_source_name=test