Scrapy 数据存储 图片和文件

Scrapy 数据存储 图片和文件

pics_down = requests.get(item['cover'])
with open('W:\pcis\{}.jpg'.format(item['title']),'wb') as f:
    f.write(pics_down.content)
f = open('W:\pcis\{}.jpg'.format(item['title']), 'rb')
item['cover'] = f.read()
f.close()
item['cover'] = str(base64.b16encode(item['cover']))  # 防止数据库转码

      

scrapy crawl dd(爬虫名称)
# Scrapy中有Medie Pipeline  可以帮助我们下载图片和文件
scrapy crawl dd -o test.json  json文件
scrapy crawl itcast -o teachers.jsonl  json lines格式
scrapy crawl dd -o test.csv  csv文件
scrapy crawl dd -o 'ftp://USER:[email protected]/test.json'  FTP文件服务器
           

转载于:https://www.cnblogs.com/guozepingboke/p/10909549.html