爬虫的概念
- 爬虫是模拟浏览器发送请求,获取响应
爬虫的流程
- url–>发送请求,获取响应–>提取数据–>保存
- 发送请求,获取响应–>提取url
页面上的数据在哪
- 当前url对应响应的地方
-
其他url对应响应的地方
–比如ajax请求中
-
js生成的
–部分数据在响应中
–全部通过js生成
requests中解决编码方法
- requests.text
- requests.content.decode()
- requests.content.decode(‘gbk’)
requests.text 与 requests.content
-
requests.text
–类型:str
–解码类型:根据HTTP头部响应的编码作出有根据的推测,推测的文本编码
–修改编码方式:response.encoding = ‘gbk’
-
requests.content
–类型:bytes
–解码类型:无指定
–修改编码方式:requests.content.decode(‘utf-8’)