天天看点

python爬虫练习2--招聘网站数据爬虫

1.爬取的数据

我们对全国的数据分析岗进行了爬虫,主要有jobName,details,company,company_type,job_type,salary

python爬虫练习2--招聘网站数据爬虫

2.网站:51job

3.查看源代码

python爬虫练习2--招聘网站数据爬虫

4.代码

python爬虫练习2--招聘网站数据爬虫
python爬虫练习2--招聘网站数据爬虫

备注:遇到的问题有xpath的方式解析获取数据失败,原因是检查中元素里有的源代码里没有,这是因为设置了反爬虫。

解决方法:采用正则表达式解析获取