爬取所有银行的银行名称和官网地址(如果没有官网就忽略),并写入数据库。
目标网址:http://www.cbrc.gov.cn/chinese/jrjg/index.html
(因为此网站做了反爬虫机制,所以这里需要我们将爬虫伪装浏览器进行访问。)
关于爬虫伪装成浏览器访问可以参考这篇文章:
https://blog.csdn.net/a877415861/article/details/79468878
话不多说直接上代码:
运行结果:
爬取所有银行的银行名称和官网地址(如果没有官网就忽略),并写入数据库。
目标网址:http://www.cbrc.gov.cn/chinese/jrjg/index.html
(因为此网站做了反爬虫机制,所以这里需要我们将爬虫伪装浏览器进行访问。)
关于爬虫伪装成浏览器访问可以参考这篇文章:
https://blog.csdn.net/a877415861/article/details/79468878
话不多说直接上代码:
运行结果: