这是scrapy爬虫框架的第一篇,本系列专题将包含以下内容:
介绍scrapy框架的主体以及各个组件的意义;
举实例讲解其具体应用。
开始第一节: 介绍scrapy框架的主体以及各个组件的意义。
scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取api所返回的数据(例如 amazon associates web services ) 或者通用的网络爬虫。
安装scrapy需要一些依赖:
python
python package: pip and setuptools. 现在 pip 依赖 setuptools ,如果未安装,则会自动安装setuptools 。
lxml. 大多数linux发行版自带了lxml。如果缺失,请查看 installing lxml
openssl. 除了windows(请查看 平台安装指南)之外的系统都已经提供。
当安装好这些依赖之后,只需要运行pip install scrapy,即可安装完scrapy。
然后运行:
scrapy startproject tutorial
即可自动创建官方标准的代码目录。
tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
其中:
tutorial/: 该项目的python总模块。
tutorial/items.py: 项目中的item文件,编写爬取的字段名称等;
tutorial/pipelines.py: 项目中的pipelines文件;
tutorial/settings.py: 项目的设置文件,较为重要;
tutorial/spiders/: 放置spider代码的主目录;
scrapy整体架构神图:
scrapy中的数据流由执行引擎控制,其过程如下:
引擎打开一个网站(open a domain),找到处理该网站的spider并向该spider请求第一个要爬取的url(s)。
引擎从spider中获取到第一个要爬取的url并在调度器(scheduler)以request调度。
引擎向调度器请求下一个要爬取的url。
调度器返回下一个要爬取的url给引擎,引擎将url通过下载中间件(请求(request)方向)转发给下载器(downloader)。
一旦页面下载完毕,下载器生成一个该页面的response,并将其通过下载中间件(返回(response)方向)发送给引擎。
引擎从下载器中接收到response并通过spider中间件(输入方向)发送给spider处理。
spider处理response并返回爬取到的item及(跟进的)新的request给引擎。
引擎将(spider返回的)爬取到的item给item pipeline,将(spider返回的)request给调度器。
(从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。
以上是老生常谈,下面谈一些经验:
如果需要大批量分布式爬取,建议采用redis数据库存储,可安装scrapy-redis,使用redis数据库来替换scrapy原本使用的队列结构(deque),并配合其它数据库存储,例如mysql或者mongodb,爬取效率将会极大提高。并且其自带的dupefilter.py负责执行requst的去重,使用redis的set数据结构,通过settings文件正确设置后,即便停止scrapy爬虫,当下次重新开始后也能自动去重。原因就是在redis已经存储了request的信息。
当涉及到代理ip,headers头中间请求信息处理的时候,可以通过中间件middleware来实现。spider中间件是介入到scrapy的spider处理机制的钩子框架,可以添加代码来处理发送给 spiders的response及spider产生的item和request。
合理设置settings文件,需要熟练掌握 settings 的各种设置。
可以重新定义def start_requests(self)函数来加载cookie信息,form信息的提交用scrapy.formrequest以及scrapy.formrequest.from_response这两个函数,scrapy.formrequest.from_response能实现自动提交form数据。
采用scrapy+phantomjs,。 downloadmiddleware 对从 scheduler 送来的 request 对象在请求之前进行预处理,可以实现添加 headers, user_agent,还有 cookie 等功能 。但也可以通过中间件直接返回 htmlresponse 对象,略过请求的模块,直接扔给 response 的回调函数处理。
class custommetamiddleware(object):
def process_request(self,request,spider):
dcap = dict(desiredcapabilities.phantomjs)
dcap["phantomjs.page.settings.loadimages"] = false
dcap["phantomjs.page.settings.resourcetimeout"] = 10
driver = webdriver.phantomjs("d:xx\xx",desired_capabilities=dcap)
driver.get(request.url)
body = driver.page_source.encode('utf8')
url = driver.current_url
driver.quit()
return htmlresponse(request.url,body=body)
综上,是对scrapy的各个组件一些个人的经验总结。
本文作者:蚍蜉撼大树
来源:51cto