scrapy爬取网页数据

1．引言

使用python的scrapy模块爬取豆瓣读书top250的图书信息，以json的形式保存并存储到mysql。项目所爬取的网站：https://book.douban.com/top250

2．实现代码

1. 创建scrapy项目打开命令行在切换到预存储目录中，运行 scrapy startproject douban

   

   生成项目

   

   2.定义item容器

   找到items.py文件,这个主要使用来封装爬虫所要爬取的字段。

   

   3.编写spider在项目的spiders目录下新建python文件，用来编写爬取数据的类

   

   其中对数据的解析可通过浏览器的审查元素中找到对应字段的数据，如tiltle自段为tr[@class="item”]中的td[@valign=“top”]/div[@class=“pl2”]/a/@title。

   

   4.存储pipelines有两种存储方式，第一种以json文件保存，第二种是将数据存储到mysql

   

   5.编写settingssetting.py为配置文件，需要添加项目对应的配置

   

3．运行结果

打开命令行在所在文件目录下运行scrapy crawl doubanbook

Json文件

Mysql

4．总结

在编写本项目时，由于太过心急在未对scrapy模块有充分了解的情况下，就着手编写，导致踩了很多坑。在一番深度学习后，最终解决问题，完成项目。本项目虽然简单，但这次项目，也让我增加了对爬虫技术的些许了解。