爬蟲協定robots

Robots協定(也稱為爬蟲協定、機器人協定等)全稱是“網絡爬蟲排除标準”(Robots Exclusion Protocol)，網站通過Robots協定告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。本文将詳細介紹爬蟲協定robots

　　robots.txt檔案是一個文本檔案，是搜尋引擎中通路網站的時候要檢視的第一個檔案。robots.txt檔案告訴蜘蛛程式在伺服器上什麼檔案是可以被檢視的

　　當一個搜尋蜘蛛通路一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜尋機器人就會按照該檔案中的内容來确定通路的範圍；如果該檔案不存在，所有的搜尋蜘蛛将能夠通路網站上所有沒有被密碼保護的頁面

【原則】

　　Robots協定是國際網際網路界通行的道德規範，基于以下原則建立：

　　1、搜尋技術應服務于人類，同時尊重資訊提供者的意願，并維護其隐私權；

　　2、網站有義務保護其使用者的個人資訊和隐私不被侵犯

　　[注意]robots.txt必須放置在一個站點的根目錄下，而且檔案名必須全部小寫

【User-agent】

　　下面代碼中*代表的所有的搜尋引擎種類，*是一個通配符，表示所有的搜尋機器人

　　下面代碼表示百度的搜尋機器人

【Disallow】

　　下面代碼表示禁止爬尋admin目錄下面的目錄

　　下面代碼表示禁止抓取網頁所有的.jpg格式的圖檔

　　下面代碼表示禁止爬取ab檔案夾下面的adc.html檔案

　　下面代碼表示禁止通路網站中所有包含問号 (?) 的網址

　　下面代碼表示禁止通路網站中所有頁面

【Allow】

　　下面代碼表示允許通路以".html"為字尾的URL

　　下面代碼表示允許爬尋tmp的整個目錄

　　下面代碼表示允許所有的robot通路網站所有的頁面

　　下面代碼表示禁止所有搜尋引擎通路網站的任何部分

　　下面代碼表示禁止百度的機器人通路其網站下其所有的目錄

　　下面代碼表示禁止所有搜尋引擎通路網站的cgi-bin、tmp、~joe這三個目錄下的檔案

　　【誤區一】：網站上的所有檔案都需要蜘蛛抓取，那就沒必要在添加robots.txt檔案了。反正如果該檔案不存在，所有的搜尋蜘蛛将預設能夠通路網站上所有沒有被密碼保護的頁面

　　每當使用者試圖通路某個不存在的URL時，伺服器都會在日志中記錄404錯誤（無法找到檔案）。每當搜尋蜘蛛來尋找并不存在的robots.txt檔案時，伺服器也将在日志中記錄一條404錯誤，是以應該在網站中添加一個robots.txt

　　【誤區二】：在robots.txt檔案中設定所有的檔案都可以被搜尋蜘蛛抓取，這樣可以增加網站的收錄率

　　網站中的程式腳本、樣式表等檔案即使被蜘蛛收錄，也不會增加網站的收錄率，還隻會浪費伺服器資源。是以必須在robots.txt檔案裡設定不要讓搜尋蜘蛛索引這些檔案

本文轉自xsster51CTO部落格，原文連結：http://blog.51cto.com/12945177/1948446 ，如需轉載請自行聯系原作者