天天看點

簡單幾步教你完成Python設定爬蟲ip

企業公司在大量的處理爬蟲的時候,頻繁通路目标網站很容易被封掉IP位址,這個時候我們就需要爬蟲ip來輔助我們完成接下來的任務了,這次我采用的是Requests子產品來完成請求的,注意事項在代碼中有展示。

import urllib.request
import requests

# 查詢IP  http://ip.138.com
url = "http://ip.138.com"
  
print("原有IP:   "+requests.get(url).text)
# 建構一個爬蟲ip的格式
#IP
ip_data = "47.94.230.42"
#端口
port_data = "9999"
#固定IP格式
new_data = {
    "http": ip_data + ":" + port_data
}
# proxies=IP  resquests子產品建構請求
print("擷取後的IP:   "+requests.get(url, proxies=new_data).text)
#切換回自己的IP是  目前爬蟲ip失效後向爬蟲ip提供商擷取新IP的時候需要使用自己的ip
print("改回自己的IP:   "+requests.get(url, proxies={"http": ""}).text)      

繼續閱讀