scrapy中使用ImagesPipeline下载图片的方法

scrapy 已经写好了图片下载的方法,只需要调用就可以了.

# scapy 下载图片的源代码
def get_media_requests(self, item, info):
   return [Request(x) for x in item.get(self.images_urls_field, [])]
           

这个方法很简单,重写此方法,就可以下载需要的图片.需要导入两个模块

from scrapy.pipelines.images import ImagesPipeline
import scrapy


class MyImagePipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        yield scrapy.Request(url=item['img_url'])
           

图片会以hashlib.sha1加密的方式命名保存.为了更方便的显示,同样,可以通过重写file_path方法来达到重命名的目的.

# scapy 这是重写后的方法
def file_path(self, request, response=None, info=None):
    img_title = request.meta['item']
    filename = img_title + '.' + request.url.split('.')[-1]
    return filename
           

但是file_path方法里面没有需要的item数据.所以需要在 get_media_requests方法中把数据传进来.

最后完整的代码如下:

from scrapy.pipelines.images import ImagesPipeline
import scrapy


class MyImagePipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        print(item['img_url'])
        yield scrapy.Request(url=item['img_url'], meta={'item': item['image_name']})

    def file_path(self, request, response=None, info=None):
        img_title = request.meta['item']
        filename = img_title + '.' + request.url.split('.')[-1]
        return filename
           

保存图片的时候,只需要在settings里设置图片的路径就可以了(IMAGES_STORE不能变)

最后关于路径的问题这里就不详细讨论了,只需要判断一下,不存在建立一个就可以了