天天看點

selenium 設定代理 和 設定認證代理

米撲代理,全球上司的代理品牌,專注代理行業近十年,提供開放、私密、獨享代理,并可免費試用

本文示例,是結合米撲代理的私密、獨享、開放代理,專門研發的示例,

支援 http、https的無密碼、白名單ip、密碼授權三種類型

示例中,用的插件 xpi 請到米撲代理官網,或米撲官方 github 下載下傳

本文,直接給出完整的代碼,都經過嚴格驗證通過,具體請見注釋

本文示例的運作環境:

MacBook Pro  MacOS High Sierra Version 10.13.4

Google Chrome  Version 63.0.3239.84 (Official Build) (64-bit)

Python 2.7.13 (v2.7.13:a06454b1afa1, Dec 17 2016, 12:39:47) 

$ pip list | grep selenium

selenium (3.4.2)

chromedriver 下載下傳位址:http://chromedriver.storage.googleapis.com/index.html

Python + Selenium + Chrome

出錯提示:WebDriverException: 'chromedriver' executable needs to be in PATH

解決方法:

a. 下載下傳 ChromeDriver,其它浏覽器參見官網說明

b. 複制 chromedrive 檔案到 Google Chrome 程式目錄下,或複制到環境變量下

cp chromedrive /usr/local/bin/

各作業系統裡的位置路徑可以參考官方Wiki

Python 代碼裡建立 webdriver 對象時傳遞 chromedrive 路徑

示例1:MacOS + chrome 環境

chromedriver = "/Applications/Google Chrome.app/Contents/MacOS/chromedriver" browser = webdriver.Chrome(executable_path=chromedriver)        # 打開 Chrome 浏覽器 browser.get(url)     content = browser.page_source print("content: " + str(content))

示例2:MacOS + 環境變量

Selenium + chromedriver 代理使用,無密碼或已設定白名單ip

Selenium + chromedriver 代理使用,支援http、https賬号密碼

本示例,采用了米撲代理的使用者名密碼授權

擷取戶名密碼授權,請到米撲代理 - 會員中心 - 白名單ip

1、建立一個zip包,包含以下兩個檔案 background.js 和 manifest.json,打包成 proxy.zip

1)background.js

2)manifest.json

說明:上面配置,不需要改動,直接拷貝使用即可

2、添加 proxy.zip 到 chrome 中作為插件