請求:浏覽器的位址欄的url向伺服器發送請求
關注的内容:請求的url
請求的方式method get/post
請求參數
響應: 作出響應
響應狀态碼:200 418 404 500
浏覽器的工作原理:發請求-》收響應-》解析-》顯示
爬蟲–》模拟浏覽器發送請求,收響應結果-》解析-》提取-》存儲到資料庫中
使用python編寫代碼,模拟浏覽器去工作
(1)找到要爬取的url,發送請求
https://www.aminer.cn/search/pub?q=%E6%95%B0%E5%AD%A6&t=b
(2)分析url如何變化的
https://bj.lianjia.com/ershoufang/pg2/