天天看點

爬取鍊家二手房交易資料

請求:浏覽器的位址欄的url向伺服器發送請求

關注的内容:請求的url

請求的方式method get/post

請求參數

響應: 作出響應

響應狀态碼:200 418 404 500

浏覽器的工作原理:發請求-》收響應-》解析-》顯示

爬蟲–》模拟浏覽器發送請求,收響應結果-》解析-》提取-》存儲到資料庫中

使用python編寫代碼,模拟浏覽器去工作

(1)找到要爬取的url,發送請求

https://www.aminer.cn/search/pub?q=%E6%95%B0%E5%AD%A6&t=b

(2)分析url如何變化的

https://bj.lianjia.com/ershoufang/pg2/