《精通Python网络爬虫：核心技术、框架与项目实战》——3.8 小结

本节书摘来自华章出版社《精通python网络爬虫：核心技术、框架与项目实战》一书中的第3章，第3.8节，作者 韦　玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1）聚焦网络爬虫，由于其需要有目的地进行爬取，所以对于通用网络爬虫来说，必须要增加目标的定义和过滤机制，具体来说，此时，其执行原理和过程需要比通用网络爬虫多出3步，即目标的定义、无关链接的过滤、下一步要爬取的url地址的选取。

2）常见的网页更新策略主要有3种：用户体验策略、历史数据策略、聚类分析策略。

3）聚类分析可以依据商品之间的共性进行相应的处理，将共性较多的商品聚为一类。

4）在爬虫对网页爬取的过程中，爬虫必然需要访问对应的网页，此时，正规的爬虫一般会告诉对应网页的网站站长其爬虫身份。网站的管理员则可以通过爬虫告知的身份信息对爬虫的身份进行识别，我们称这个过程为爬虫的身份识别过程。

5）开发网络爬虫的语言有很多，常见的语言有python、java、php、node.js、c++、go语言等。

6）metaseeker是一款比较实用的网站数据采集程序，使用该采集程序，可以让大家比较快速、形象地了解爬虫的工作过程。