2019年最新出搜尋引擎蜘蛛網頁爬蟲大全

2019年最新出搜尋引擎蜘蛛網頁爬蟲大全分享，各大seo引擎搜尋的蜘蛛會一次又一次通路爬取我們站點的文章内容，也會耗費一定的站點流量；

有時候就必須屏蔽一些蜘蛛浏覽我們的站點，文章尾部會講解決方案；

掌握各大搜尋引擎蜘蛛爬蟲，對我們開展網站SEO優化具有挺大作用；作者搜集了各大搜尋引擎的蜘蛛爬蟲UA，便于你需要時檢視。

1、百度蜘蛛：BaiduSpider

常見的Baiduspider和Baiduspider-image（抓取圖檔）

百度公司還有其它幾個蜘蛛：Baiduspider-video（抓取視訊）、Baiduspider-news（抓取新聞）、Baiduspider-mobile（抓取wap），都不常見

百度蜘蛛爬蟲UA：

PC端：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +

http://www.baidu.com/search/spider.html)

移動端：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +

圖檔：“Baiduspider-image+(+

http://www.baidu.com/search/spider.htm)

”

2、谷歌蜘蛛：Googlebot

有人說谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名稱為Googlebot，還發現了Googlebot-Mobile，看名字是應該是抓取wap内容的

谷歌蜘蛛爬蟲UA：“Mozilla/5.0 (compatible; Googlebot/2.1; +

http://www.google.com/bot.html)

圖檔：“Googlebot-Image/1.0”

3、360蜘蛛：360Spider

它是一個十分“勤奮抓爬”的蜘蛛

360蜘蛛爬蟲UA：Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

4、搜狗蜘蛛：Sogou News Spider

搜狗公司還有其它幾個蜘蛛：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，冬鏡在日志中隻發現了常見的Sogou News Spider。（參考大神百度的robots檔案，搜狗蜘蛛名稱可以用Sogou概括，但有沒有用就不知道了.）

搜狗蜘蛛爬蟲UA：“Sogou web spider/4.0(+

http://www.sogou.com/docs/help/webmasters.htm#07)

5、必應蜘蛛：bingbot

必應蜘蛛爬蟲UA：“Mozilla/5.0 (compatible; bingbot/2.0; +

http://www.bing.com/bingbot.htm)

6、SOSO蜘蛛：Sosospider

騰訊已玩死，交給搜狗公司了

soso蜘蛛爬蟲UA：“Sosospider+(+

http://help.soso.com/webspider.htm)

7、雅虎蜘蛛：Yahoo! Slurp China（雅虎中國）或Yahoo! Slurp（雅虎英文）

雅虎蜘蛛爬蟲UA：

雅虎中國：“Mozilla/5.0 (compatible; Yahoo! Slurp China;

http://misc.yahoo.com.cn/help.html)

雅虎英文：“Mozilla/5.0 (compatible; Yahoo! Slurp;

http://help.yahoo.com/help/us/ysearch/slurp)

8、MSN蜘蛛：msnbot，msnbot-media

好像隻見到msnbot-media在狂爬……

MSN蜘蛛爬蟲UA：

*msnbot/1.0 (+

http://search.msn.com/msnbot.htm

”)

其它還有 一搜蜘蛛：YisouSpider、Alexa蜘蛛：ia_archiver、宜搜蜘蛛：EasouSpider、即刻蜘蛛：JikeSpider，以及還有YandexBot、AhrefsBot和ezooms.bot等這些蜘蛛，據說這幾個國外的蜘蛛都不咋好

搜尋引擎蜘蛛名稱

其實常用的搜尋引擎就那麼幾個，隻要在網站根目錄robots.txt檔案裡把常用的搜尋引擎蜘蛛放進來就行，其它的可以統統屏蔽掉了。