scrapy-redis使用記錄

1. settings中帶密碼redis配置

   REDIS_HOST = ‘ip’

   REDIS_PORT = port

   REDIS_PARAMS = {

   ‘password’: ‘password’,

   ‘db’: db

   }

   MY_REDIS = ‘redis_key’

2. 設定下載下傳逾時時間

   DOWNLOAD_TIMEOUT = 10

3. redis先進先出

   SCHEDULER_QUEUE_CLASS = ‘scrapy_redis.queue.SpiderQueue’

4. scrapy-redis中以set集合類型提取資料

   REDIS_START_URLS_AS_SET = True # Flase 為list類型

5. scrapy-redis 取完redis的key 自動清空redis

   SCHEDULER_PERSIST = True

6. scrapy-redis中post請求時,重寫👇方法，拼接url在回調parse函數

   def make_request_from_data(self, data):

   return scrapy.FormRequest(callback=self.parse)