Scrapy图片(文件)下载
这里介绍的是Scrapy框架自带的图片(文件)下载功能
一: 初步了解在Scrapy框架的源码中下载图片的文件
--->
--->
在这个.py文件中
代码第69行是: 图片根据哪个属性下载
代码第97行是: 图片存放的路径
这里只是简单的了解一些scrapy图片下载的一些操作(其它源码自行百度)
************************重新/自定义***********************
二: 当图片爬虫代码逻辑写完整之后
在
文件内
定义下载图片的Imagepipeline(与下载文件的FilesPipeline逻辑一样)
"""
逻辑:
1. 引入scrapy自带的ImagesPipeline
from scrapy.pipelines.images import ImagesPipeline
2. 创建类, 继承自ImagesPipeline
class Custom(定制的)ImagePipeline(ImagesPipeline):
3. 重写get_media_requests函数, 在函数中循环获取图片地址, 创建Request, 并且将item作为request.meta中参数, 传递到file_path函数中, 返回存放request对象的列表
def get_media_requests(self, item, info):
return[Request(x, meta={'item': item}) for x in item['img_src']]
4. 重写file_path函数, 获取到request.meta中的item对象, 提取分类名称, 拼接完整的存放路径, 并且返回路径
def file_path(self, request, response=None, info=None):
item = request.meta['item']
xxx = item['xxx'](xxx保存文件夹名称和图片名)
path = xxx+'/'+'xxx'+'.jpg'
return path
5. 在
中的ITEM_PIPELINES配置该类路径, 设置优先级, 配置IMAGES_URLS_FIELD, IAMGES_STORE
# 配置根据item的哪个属性下载图片
IMAGES_URLS_FIELD = 'img_src'
# 配置图片存放的目录
IAMGES_STORE = 'datas'
"""
img_src是下载图片的链接
这样就行运行Scrapy框架图片下载
注意: 1.只有这样也是不行的, 还要先将items.py文件配置好
关于这个请看博客的其它内容
2. 保存图片的属性必须是个列表, 不然会抛出异常
事例:
src: 是图片的属性接收的变量名