snoopy（強大的PHP采集類） 詳細介紹

Snoopy是一個php類，用來模拟浏覽器的功能，可以擷取網頁内容，發送表單，可以用來開發一些采集程式和小偷程式，本文章詳細介紹snoopy的使用教程。

Snoopy的一些特點:

抓取網頁的内容 fetch

抓取網頁的文本内容 (去除HTML标簽) fetchtext

抓取網頁的連結，表單 fetchlinks fetchform

支援代理主機

支援基本的使用者名/密碼驗證

支援設定 user_agent, referer(來路), cookies 和 header content(頭檔案)

支援浏覽器重定向，并能控制重定向深度

能把網頁中的連結擴充成高品質的url(預設)

送出資料并且擷取傳回值

支援跟蹤HTML架構

支援重定向的時候傳遞cookies

要求php4以上就可以了 由于本身是php一個類 無需擴支援 伺服器不支援curl時候的最好選擇，

Snoopy類方法及示例：

fetch($URI)

這是為了抓取網頁的内容而使用的方法。

$URI參數是被抓取網頁的URL位址。

抓取的結果被存儲在 $this->results 中。

如果你正在抓取的是一個架構，Snoopy将會将每個架構追蹤後存入數組中，然後存入 $this->results。

fetchtext($URI)

本方法類似于fetch()，唯一不同的就是本方法會去除HTML标簽和其他的無關資料，隻傳回網頁中的文字内容。

fetchform($URI)

本方法類似于fetch()，唯一不同的就是本方法會去除HTML标簽和其他的無關資料，隻傳回網頁中表單内容(form)。

fetchlinks($URI)

本方法類似于fetch()，唯一不同的就是本方法會去除HTML标簽和其他的無關資料，隻傳回網頁中連結(link)。

預設情況下，相對連結将自動補全，轉換成完整的URL。

submit($URI,$formvars)

本方法向$URL指定的連結位址發送确認表單。$formvars是一個存儲表單參數的數組。

submittext($URI,$formvars)

本方法類似于submit()，唯一不同的就是本方法會去除HTML标簽和其他的無關資料，隻傳回登陸後網頁中的文字内容。

submitlinks($URI)

本方法類似于submit()，唯一不同的就是本方法會去除HTML标簽和其他的無關資料，隻傳回網頁中連結(link)。

Snoopy采集類屬性: (預設值在括号裡)

$host 連接配接的主機

$port 連接配接的端口

$proxy_host 使用的代理主機，如果有的話

$proxy_port 使用的代理主機端口，如果有的話

$agent 使用者代理僞裝 (Snoopy v0.1)

$referer 來路資訊，如果有的話

$cookies cookies， 如果有的話

$rawheaders 其他的頭資訊, 如果有的話

$maxredirs 最大重定向次數， 0=不允許 (5)

$offsiteok whether or not to allow redirects off-site. (true)

$expandlinks 是否将連結都補全為完整位址 (true)

$user 認證使用者名, 如果有的話

$pass 認證使用者名, 如果有的話

$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)

$error 哪裡報錯, 如果有的話

$response_code 從伺服器傳回的響應代碼

$headers 從伺服器傳回的頭資訊

$maxlength 最長傳回資料長度

$read_timeout 讀取操作逾時 (requires PHP 4 Beta 4+) 設定為0為沒有逾時

$timed_out 如果一次讀取操作逾時了，本屬性傳回 true (requires PHP 4 Beta 4+)

$maxframes 允許追蹤的架構最大數量

$status 抓取的http的狀态

$temp_dir 網頁伺服器能夠寫入的臨時檔案目錄 (/tmp)

$curl_path cURL binary 的目錄, 如果沒有cURL binary就設定為 false

下面是一個示例：

擷取指定url内容

表單送出

既然已經送出的表單 那就可以做很多事情 接下來我們來僞裝ip,僞裝浏覽器

僞裝浏覽器

原來我們可以僞裝session 僞裝浏覽器 ，僞裝ip， haha 可以做很多事情了。

例如 帶驗證碼，驗證ip 投票， 可以不停的投。

ps:這裡僞裝ip ，其實是僞裝http頭, 是以一般的通過 REMOTE_ADDR 擷取的ip是僞裝不了，

反而那些通過http頭來擷取ip的(可以防止代理的那種) 就可以自己來制造ip。

關于如何驗證碼 ，簡單說下：

首先用普通的浏覽器， 檢視頁面 ， 找到驗證碼所對應的sessionid，

同時記下sessionid和驗證碼值，

接下來就用snoopy去僞造 。

原理:由于是同一個sessionid 是以取得的驗證碼和第一次輸入的是一樣的。

有時我們可能需要僞造更多的東西,snoopy完全為我們想到了

另外一篇：

http://www.nowamagic.net/librarys/veda/detail/855

如何聯系我：【萬裡虎】www.bravetiger.cn

【QQ】3396726884 （咨詢問題100元起，幫助解決問題500元起）

【部落格】http://www.cnblogs.com/kenshinobiy/