天天看點

python爬蟲requests.post()_【Python爬蟲曆程】requests庫的post請求的使用

上一節講了requests庫的知識點,以及requests庫進行get通路請求的操作。

這樣一回想,感覺之前學的urllib的一些通路請求白學了。。。。

今天主要來講一下post的使用

post與get不同的是post可以帶資料發送請求

示例代碼,還是之前的拉勾網爬蟲

import requests

data={

'first': "true",

'pn':'1' ,

'kd': "java"

}

headers={

'Referer': 'https://www.lagou.com/jobs/list_java?labelWords=&fromSearch=true&suginput=',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36',

'Cookie': 'Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1585643321; PRE_UTM=; PRE_HOST=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; user_trace_token=20200331162840-5604688d-8374-42a9-ac5e-d21a103e66d5; LGSID=20200331162840-8bfde016-fddc-4cfc-9dea-23b61aba78cd; PRE_SITE=; LGUID=20200331162840-72c685a9-16f9-44c1-937c-bb4d7376c3dc; index_location_city=%E5%85%A8%E5%9B%BD; _ga=GA1.2.1928015434.1585643321; _gid=GA1.2.1306446190.1585643321; sajssdk_2015_cross_new_user=1; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%221712fb51ec332e-0362d845d24cb5-f313f6d-1327104-1712fb51ec466f%22%2C%22%24device_id%22%3A%221712fb51ec332e-0362d845d24cb5-f313f6d-1327104-1712fb51ec466f%22%7D; _gat=1; LGRID=20200331165304-782269a9-471d-4678-bf89-eeda867aa9a5; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1585644785; X_HTTP_TOKEN=6683747f611e95d799744658512ca627a639ad07f1'

}

#這裡加上cookie才能進行正常通路,還有說明一點這裡的cookie是進入職位詳情之後的cookie

response=requests.post("https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false",headers=headers,data=data)

print(type(response.json()))

print(response.json())