目錄
- 一、Charles 工具的下載下傳與安裝
- 二、SSL 證書的安裝
-
- 2.1 安裝 PC 端證書
- 2.2 設定代理
- 2.3 配置網絡
- 2.4 安裝手機端證書
- 三、總結
爬蟲不僅僅隻對 Web 頁面的資訊進行爬取，還可以爬取應用中存在的大量資料，例如移動端的 App。由于 App 中的資料都是通過異步的方式從背景伺服器中擷取的，類似于 Web 中的 Ajax 請求，是以在爬取資料前同樣需要分析 App 用于擷取資料的 URL。
由于 App 運作在手機或平闆電腦中，在擷取請求位址時無法像 Web 一樣在 PC 端通過浏覽器進行擷取。是以就需要使用專業的抓包工具，實作 App 請求位址的抓取工作。本篇博文将介紹如何使用 Charles 抓包工具擷取 App 中的請求位址。
一、Charles 工具的下載下傳與安裝
可以實作 App 抓包的工具有很多，例如， Charles、Fiddler、mitmproxy 等。不過從性能的角度來講，Charles 的功能更加強大一些。Charles 抓包工具是收費軟體，但可以免費試用 30 天。點選 此處 打開 Charles工具的官方下載下傳頁面，Charles 是一個跨平台網絡抓包工具，支援 Windows、Mac 和 Linux 平台，讀者可以根據自己的作業系統下載下傳對應的版本即可。這裡以 Windows 系統為例進行示範，如下圖所示。
下載下傳完成後，本地磁盤中将出現名稱為
charles-proxy-4.6.1-win64.msi
的安裝檔案，輕按兩下該檔案将顯示如圖所示的歡迎對話框，在該對話框中直接單擊 Next 按鈕。
在 End-User License Agreement(最終使用者許可證協定) 中，勾選
I accept the terms in the License Agreement
同意協定，然後單擊 Next 按鈕。如下圖所示。
在彈出的 Destination Folder 對話框中，選擇自己需要安裝的路徑，然後單擊 Next 按鈕，如圖所示。
在 Ready to install Charles (準備安裝) 對話框中，直接單擊 Install 按鈕，如下圖所示。
安裝完成以後将顯示如圖所示的對話框，在該對話框中直接單擊 Finish 按鈕即可。
二、SSL 證書的安裝
2.1 安裝 PC 端證書
Charles 工具安裝完成以後，在菜單中部或底部的搜尋位置找到 Charles 啟動圖示，啟動 Charles 工具。Charles 啟動後将預設擷取目前 PC 端所有網絡請求，例如，自動擷取 PC 端浏覽器中通路的百度頁面，不過在檢視請求内容時，将顯示如圖所示的亂碼資訊。
說明：在預設的情況下 Charles 是可以擷取 PC 端的網絡請求的。
目前的網頁多數都是使用 HTTPS 與服務端進行資料互動，而通過 HTTPS 傳輸的資料都是加密的，此時通過 Charles 所擷取到的資訊也都是亂碼，需要安裝 PC 端 SSL 證書。安裝 PC 端 SSL 證書的具體步驟如下：
(1) 打開 Charles 工具，依次選擇 Help ⇒ SSL Proxying ⇒ Install Charles Root Certificate 菜單項打開安裝 SSL 證書對話框，如圖所示。
(2) 在已經打開的安裝 SSL 證書對話框中，單擊
安裝證書
按鈕，然後在證書導入向導對話框中直接單擊
下一步
按鈕，如圖所示。
(3) 打開證書向導的
證書存儲
對話框，在該對話框中首先選擇
将所有的證書都放入下列存儲
選項，然後單擊
浏覽
按鈕，選擇證書的存儲位置為
受信任的根證書頒發機構
，再單擊
确定
按鈕，最後單擊
下一步
按鈕即可。如圖所示。
(4) 在證書導入向導的
正在完成證書導入向導
的對話框中，直接單擊
完成
按鈕，如圖所示。
(5) 在彈出的安全警告框中單擊
是
按鈕，如圖所示，即可完成 SSL 證書的安裝。
(6) 在
導入成功
的提示對話框中單擊
确定
按鈕，然後在安裝證書的對話框中單擊
确定
按鈕，如圖所示。
2.2 設定代理
PC 端的 SSL 證書安裝完成以後，在擷取請求詳情内容時依然顯示亂碼。此時還需要設定 SSL 代理，設定 SSL 代理的具體步驟如下：
在 Charles 工具中，依次選擇 Proxy ⇒ SSL Proxying Settings菜單項，在
SSL Proxying
頁籤當中勾選
Enable SSL Proxying
複選框，然後單擊左側
Include
下面對應的 Add 按鈕，在 Edit Location 視窗中設定指定代理，如果沒有代理的情況下可以将其設定為 “*”(表示所有的 SSL) 即可，如下圖所示：
SSL 代理設定完成以後，重新啟動 Charles，再次打開浏覽器中的百度網頁，單擊左側目錄中的
/
将顯示如圖所示的詳細内容。
2.3 配置網絡
當需要通過 Charles 抓取手機中的請求位址時，需要保證 PC 端與手機端在同一網絡環境下，然後為手機端進行網絡配置。配置網絡的具體步驟如下：
(1）确定 PC(電腦端) 與手機端在同一網絡下，然後在 Charles 工具的菜單中依次選擇 Help ⇒ SSL Proxying ⇒ Install Charles Root Certificate on a Mobile Device or Remote Browser 菜單項，如圖所示。
(2) 打開移動裝置安裝證書的資訊提示框，在該對話框中需要記錄 IP 位址與端口号，如圖所示。
(3) 将提示框中的 IP 位址與端口号記住後，将手機 (這裡以 Android 手機為例) WIFI 連接配接與 PC(電腦端) 同一網絡的 WIFI，然後在手機 WIFI 清單中長按已經連接配接的 WIFI，在彈出的菜單中選擇
修改網絡
如圖所示。
(4) 在修改網絡的界面中，首先勾選
顯示進階選項
，然後在
伺服器主機名
與
伺服器端口
所對應的位置填寫 Charles 的移動裝置安裝證書的資訊提示框中所給出的 IP 與端口号，單擊
儲存
按鈕。如圖所示：
(5) 在手機端伺服器主機與端口号設定完成後，PC (電腦端) Charles 将自動彈出是否信任此裝置的确認對話框，在該對話框中直接單擊 Allow 按鈕即可，如圖所示。
如果 PC(電腦端) 的 Charles 沒有提示上圖所示的提示框，可以在 PC(電腦端) 指令行視窗内通過 ipconfig 指令擷取目前電腦端的無線局域擴充卡所對應的 IPv4 位址，并将該位址設定在步驟(4) 中手機連接配接 WIFI 的伺服器主機名當中。
2.4 安裝手機端證書
PC(電腦端) 與手機端的網絡配置完成以後，需要将 Charles 證書儲存在PC(電腦端)，然後安裝在手機端，這樣 Charles 才可以正常的抓取手機 App 中的網絡請求。安裝手機端證書的具體步驟如下：
(1) 在 Charles 工具中依次選擇 Help ⇒ SSL Proxying ⇒ Save Charles Certificate…菜單項，如圖所示。
(2) 将證書檔案儲存在 PC(電腦端) 指定路徑下，如圖所示。
(3) 将 Charles_SSL 證書檔案導入手機中，然後在手機中依次選擇 設定 ⇒ 安全和隐私 ⇒ 更多安全設定 ⇒ 從 SD 卡安裝證書(憑據)，選擇 Charles_SSL 證書檔案，輸入手機密碼後設定證書名稱，單擊
确定
按鈕。如圖所示。
說明：不同品牌的手機安裝 Charles_SSL 證書檔案的方式會有所不同，是以需要讀者根據使用的手機品牌尋找對應的安裝方式。
(4) 完成以上的配置工作以後，打開 Android 手機中的某個 App 中的某個新聞網頁，如圖所示。
(5) 在 Charles 工具中左側的請求欄内，同時觀察不斷出現換色閃爍的最新請求，即可查詢到 Android 手機中新聞所對應網頁的請求位址，如圖所示。
在不确定 Charles 工具中所擷取的請求位址是否正确時，可以将擷取的位址在 PC(電腦端) 的浏覽器中進行頁面的驗證工作，驗證結果如圖所示。
三、總結
感謝您閱讀本篇博文，希望本文能成為您程式設計路上的領航者。祝您閱讀愉快！
好書不厭讀百回，熟讀課思子自知。而我想要成為全場最靓的仔，就必須堅持通過學習來擷取更多知識，用知識改變命運，用部落格見證成長，用行動證明我在努力。
如果我的部落格對你有幫助、如果你喜歡我的部落格内容，請
、點贊
、評論
收藏
一鍵三連哦！聽說點贊的人運氣不會太差，每一天都會元氣滿滿呦！如果實在要白嫖的話，那祝你開心每一天，歡迎常來我部落格看看。
編碼不易，大家的支援就是我堅持下去的動力。點贊後不要忘了
我哦！關注