磁力連結+爬蟲

磁力連結

磁力連結，簡單的說（magnet uri scheme）：類似下面這樣以“magnet:?xt=urn:btih:”開頭的字元串，就是一條磁力連結；确切的說：“磁力連結”的主要作用是識别【能夠通過“點對點技術（即：p2p）”下載下傳的檔案】。這種連結是通過不同檔案内容的hash結果生成一個純文字的“數字指紋”，來識别檔案的。而不是基于檔案的位置或者名稱。

python擷取免費的可用代理

在使用爬蟲多次爬取同一網站時，經常會被網站的ip反爬蟲機制給禁掉，這時就可以通過使用代理來解決。目前網上有很多提供最新免費代理清單的網站，這些清單裡很多的代理主機是可用的，但是也有一些是不可用的，是以需要進一步篩選。利用python可以很友善地篩選出可用的代理清單。

以提供免費代理資訊的網站ipcn 國家地區免費代理為例，這裡給出一個爬取此網站上提供的代理資訊并篩選可用代理主機的程式。主要用到requests和lxml，具體代碼為：