蜘蛛搜尋引擎_搜尋引擎——蜘蛛介紹

搜尋引擎蜘蛛是搜尋引擎的一個自動程式，它的作用是通路網際網路上的網頁、圖檔、視訊等内容，建立索引資料庫，使使用者能在搜尋引擎中搜尋到您網站的網頁、圖檔、視訊等内容。

一般用法為“ spider+URL”，後面的URL(網址)是搜尋引擎的痕迹，如果要檢視某搜尋引擎是否來爬取過你們的網站，可檢視伺服器的日志裡是否有該URL,同時還能檢視來的時間、頻率等…

圖檔源自網絡

1、百度蜘蛛：

可以根據伺服器的負載能力調節通路密度，大大降低伺服器的服務壓力。根據以往的經驗百度蜘蛛通常會過度重複地抓取同樣的頁面，導緻其他頁面無法被抓取到而不能被收錄。這種情況可以采取 robots協定的方法來調節。

2、谷歌蜘蛛：

谷歌蜘蛛屬于比較活躍的網站掃描工具，其間隔28天左右就派出“蜘蛛”檢索有更新或者有修改的網頁。與百度蜘蛛最大的不同點是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。

3、雅虎中國蜘蛛：

如果某個網站在谷歌網站下沒有很好的收錄，在雅虎下也不會有很好的收錄和爬行。雅虎蜘蛛的數量龐大，但平均的效率不是很高，相應的搜尋結果品質不高。

4、微軟必應蜘蛛：

必應與雅虎有着深度的合作關系，是以基本運作模式和雅虎蜘蛛差不多。

5、搜狗蜘蛛：

搜狗蜘蛛的爬取速度比較快，抓取的數量比起速度來說稍微少點。最大的特點是不抓取 robot. text檔案。

6、搜搜蜘蛛：

搜搜早期是運用谷歌的搜尋技術，谷歌有收錄，搜搜肯定也會收錄。2011年搜搜已經宣布采用自己的獨立搜尋技術，但搜搜蜘蛛的特性和谷歌蜘蛛的特點還是有着相似的地方。

7、有道蜘蛛：

和其他搜尋引擎蜘蛛一樣，凡是高權重網站的連結一般都能将其收錄。爬行原理也是通過連結之間的爬行。

以上就是《搜尋引擎——蜘蛛介紹》的全部内容，感謝閱讀，希望對你有幫助！