scrapy download middleware

簡單記錄一下

在srapy中的下載下傳中間件中，process_response(self, request, response, spider)方法中的

response.meta 拿的其實是與它綁定的那個request.meta

但是 request 與 reponse 的綁定是在 engine這一層裡面進行的，這一步在download middleware之後，是以在

download middleware 中的response是沒有綁定request的，是以在process_response 中調用 response.meta

是會報錯的，AttributeError: Response.meta not available

是以一般在下載下傳中間件中都是拿 request.meta 裡面的資料

更加具體的連結 參考 這裡