天天看點

php的Snoopy類

用了兩天這個類,發現很好用。

擷取請求網頁裡面的所有連結,直接使用fetchlinks就可以,擷取所有文本資訊使用fetchtext(其内部還是使用正規表達式在進行處理),還有其它較多的功能,如模拟送出表單等。

使用方法:

2、先執行個體化一個對象,然後調用相應的方法即可擷取抓取的網頁資訊

示例:

它并沒有提供擷取網頁中所有圖檔位址的方法,自己有個需求是要擷取一個頁面中所有文章清單中圖檔位址。然後自己就寫了一個,主要還是正則那裡比對重要。

因為需求比較特殊,隻需要抓取寫死htp://開頭的圖檔(外站的圖檔可能使得了防盜鍊,想先抓取到本地)

實作思路:

1、抓取指定網頁,并篩選出預期的所有文章位址;

2、循環抓取第一步中的文章位址,然後使用比對圖檔的正規表達式進行比對,擷取頁面中所有符合規則的圖檔位址;

3、根據圖檔字尾和ID(這裡隻有gif、jpg)儲存圖檔---如果此圖檔檔案存在,先将其删除再儲存

在使用php抓取網頁:内容、圖檔、連結的時候,我覺得最重要的還是正則(根據抓取的内容和指定的規則擷取想要的資料),思路其實都比較簡單,用到的方法也并不多,也就那幾個(而且抓取内容還是直接調用别人寫好的類中的方法就可以了)

但之前想過的是php似乎并沒有實作如下的方法,比如一個檔案中有N行(N很大),需要将其中符合規則的行内容進行替換,如第3行是aaa需要轉成bbbbb。一般的需要修改檔案時的常見做法:

1、一次讀取整個檔案(或是逐行讀取),然後使用臨時檔案進行儲存最終轉換後的結果,再替換原始檔案

2、逐行讀取,使用fseek控制檔案指針的位置,然後fwrite寫入

方案1在檔案較大時,一次讀取不可取(逐行讀取,然後寫入臨時檔案再替換原始檔案效率感覺也不高),方案2則在被替換的字元串長度小于等于目标值時沒問題,但超過了則會有問題,它會“越界”,将下一行的資料也打亂了(不能像JavaScript中有“選區”的概念,使用新的内容進行替換)

下面是使用方案2做試驗的代碼:

先讀取一行,此時檔案指針其實是指到下一行開頭,使用fseek将檔案指針回移到上一行起始位置,然後使用fwrite進行替換操作,正因為是替換操作,在不指定長度的情況下,它把影響到下一行的資料,而我想要的是隻想針對這一行進行操作,例如删除這一行或是整行隻替換為一個1,上面的例子達不到要求,或許是我還沒有找到合适的方法… 你有好的方法嗎?