天天看點

scrapy-redis執行報錯Unhandled error in Deferred

我這裡的原因是,設定裡選擇了隊列形式,改成預設即可:

# 預設的scrapy-redis請求隊列形式
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# 隊列形式,先進先出,選這個會報錯:Unhandled error in Deferred
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
# 棧形式,先進後出
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"