說幾句:
下面進正題,于是自己跑iis看了一下日志,發現一堆資料,不好分析,于是自己寫了個工具來解析這些資料。
引言:
下面為工具截圖介紹:
1:輕按兩下運作工具,點選“>>”定位iis日志所在的檔案夾
說明:
由于iis進行會一直進行寫日志,是以是讀不了當天的日志檔案的,是以有了紅色的錯誤提示。
3:切換到“檢視明細”,可以看到每個日志檔案的狀态碼,根據狀态碼,可以大體了解一下站點運作狀态。
4:切換到“通路時間”,可以檢視每種蜘蛛的通路時間明細,了解搜尋引擎的通路時間段
下面是iis日志原始資料相關的介紹:
如iis的一行資料:
2009-09-09 00:52:03 w3svc1 2**.7**.1**.7* get /***/index.html - 80 - 220.181.7.43 baiduspider+(+baidu/search/spider.htm) 200 0 0
解析說明:
2009-09-09 00:52:03:蜘蛛的通路時間
w3svc1:是記錄的檔案夾
2**.7**.1**.7*:是iis伺服器所在的ip
get /***/index.html :是被蜘蛛通路的頁面位址
-80:是端口;
220.181.7.43:是百度蜘蛛的ip
200 0 0:狀态碼:200成功通路該頁面,0代表抓取成功并帶回資料庫
狀态碼有很多種,其它狀态碼說明如下:
200 0 64
64的出現不代表百度要k你,但是64的大量出現确實會帶來很大的問題,
網絡上流傳着這麼幾種解釋:
第一:64為k站的前兆。
第二64的出現隻是64位作業系統。
第三:網絡不可達,由于某種原因無法完全打開頁面,或者網絡不穩定這些原因,導緻蜘蛛無法帶回頁面或者說不抓取該頁面。
304 0 0
這個傳回碼代表蜘蛛通路的頁面沒有更新,和他之前來的時候是一樣的,是以看到這個不要擔心,蜘蛛來過,隻不過你沒有更新,是以他也不願意帶走這個頁面。
404 0 0
這個是代表404頁面,但是有個很嚴重的問題,這個傳回碼告訴我們,蜘蛛來到了404頁面并把他帶走了,崩潰~~~~,要是這樣的話基本上你要倒黴了,因為你有太多的404,那麼蜘蛛就會不斷是抓取,不斷的帶走,這樣會造成無數的重複頁面,最終導緻k站或者降級,正确的傳回代碼是404 0 64 這就代表蜘蛛沒有抓取你這個頁面。
500錯誤
500錯誤是伺服器内部錯誤,是由程式的錯誤造成的,我不懂程式,但是500錯誤是會給你減分的,這點基本的邏輯都可以想的到,發現500錯誤,馬上檢視是哪個頁面的,然後去修正以下錯誤吧!
302
在日志中發現302的傳回碼也是需要注意的,302為臨時重定向,如果你是長期的将這個頁面重定向到另一個頁面,麻煩你使用301永久重定向,如果是302的話百度蜘蛛下次來還會通路這個頁面,這樣又會造成複制大量頁面的問題,結果肯定是k,是以,抽空檢查以下。
版權聲明:本文原創發表于部落格園,作者為路過秋天,原文連結:
http://www.cnblogs.com/cyq1162/archive/2011/05/21/2053134.html