日志分析方法概述

注：寫得有點亂，但目前市面上這方面内容的确不多，mark一下~

http://blog.csdn.net/pkueecser/article/details/9569251

大資料應用--系統監控與日志分析

http://wenku.baidu.com/link?url=8CJ-URMjVTVaw3GM1AZ2w9A7V0CIeRz3dx7xvysILLk6IdWpJGT889gQ7-824G4hAK-T2tdqZY1Lo6CEN1hgqHQNlHhVFykWJ_9XQW6EN5K

大資料日志分析産品（電商方向）

https://www.sensorsdata.cn/manual/event_ana.html

=============

日志在計算機系統中是一個非常廣泛的概念，任何程式都有可能輸出日志：作業系統核心、各種應用伺服器等等。日志的内容、規模和用途也各不相同，很難一概而論。

本文讨論的日志處理方法中的日志，僅指Web日志。其實并沒有精确的定義，可能包括但不限于各種前端Web伺服器——apache、lighttpd、tomcat等産生的使用者通路日志，以及各種Web應用程式自己輸出的日志。

在Web日志中，每條日志通常代表着使用者的一次通路行為，例如下面就是一條典型的apache日志：

211.87.152.44 – - [18/Mar/2005:12:21:42 +0800] “GET / HTTP/1.1″ 200 899 “http://www.baidu.com/” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)”

從上面這條日志中，我們可以得到很多有用的資訊，例如通路者的IP、通路的時間、通路的目标網頁、來源的位址以及通路者所使用的用戶端的UserAgent資訊等。如果需要更多的資訊，則要用其它手段去擷取：例如想得到使用者螢幕的分辨率，一般需要使用js代碼單獨發送請求；而如果想得到諸如使用者通路的具體新聞标題等資訊，則可能需要Web應用程式在自己的代碼裡輸出。

為什麼要分析日志

毫無疑問，Web日志中包含了大量人們——主要是産品分析人員會感興趣的資訊，最簡單的，我們可以從中擷取網站每類頁面的PV值（PageView，頁面通路量）、獨立IP數（即去重之後的IP數量）等；稍微複雜一些的，可以計算得出使用者所檢索的關鍵詞排行榜、使用者停留時間最高的頁面等；更複雜的，建構廣告點選模型、分析使用者行為特征等等。

既然這些資料是如此的有用，那麼當然已經有無數現成的工具可以幫助我們來分析它們，例如awstats、Webalizer，都是專門用于統計分析Web伺服器日志的免費程式。

另外還有一類産品，它們不分析直接日志，而是通過讓使用者在頁面中嵌入js代碼的方式來直接進行資料統計，或者說我們可以認為它是直接讓日志輸出到了它們的伺服器。典型的代表産品——大名鼎鼎的Google Analytics，另外還有國内的cnzz、百度統計等。

很多人可能會說，既然如此，我們為什麼還需要自己來分析日志，有必要嗎？當然有。我們的使用者（産品分析人員）需求是無窮盡的，上面說的這幾類工具雖然很好很強大，但顯然沒辦法滿足全部的需求。

無論是本地分析的工具，還是線上的分析服務，它們雖然提很豐富的的統計分析功能，可以做一定程度的配置，但是依然很有限的。要進行稍複雜點的分析，或者要做基于日志的資料挖掘，依然需要自己來完成。

另外絕大多數日志分析工具都是隻能用于單機的，資料量稍大就沒轍了。同時那些提供線上分析的服務對于單個站點通常也都有最大流量的限制——這是很容易了解的，他們也需要考慮伺服器的負載。

是以，很多時候還是得靠自己。

怎麼進行日志分析

這并不是一個簡單的問題。即使我們把“日志”限定為Web日志，依然包含了成千上萬種可能的格式和資料，而是“分析”更是難以定義，也許是簡單的統計值的計算，也許是複雜的資料挖掘算法。

下面并不打算讨論這些複雜的問題，而隻是籠統的讨論如何建構進行日志分析工作的基礎。有了這些基礎會讓基于日志的簡單統計分析變得很簡單，并讓複雜的分析挖掘等變得可行。

少量資料的情況

先考慮最簡單的情況，在資料規模比較小的時候，也許是幾十MB、幾百MB或者幾十GB，總之就是在單機處理尚能忍受的時候。一切都很好辦，現成的各種Unix/Linux工具——awk、grep、sort、join等都是日志分析的利器，如果僅僅是想知道某個頁面的PV，一個wc+grep就能搞定。如果有稍複雜的邏輯，那就使用各種腳本語言，尤其是perl，配合偉大的正規表達式，基本就可以解決所有的問題。

例如，我們想從上面提到的apache日志中得到通路量最高前100個IP，實作很簡單：

cat logfile | awk ‘{a[$1]++} END {for(b in a) print b”\t”a[b]}’|sort -k2 -r|head -n 100

不過當我們需要頻繁去分析日志的時候，上面的做法在一段時間之後可能就會讓我們頭疼如何進行各種日志檔案、用于分析的腳本檔案、crontab檔案等等的維護，并且可能會存在大量重複的代碼來做資料格式的解析和清洗，這個時候也許就需要更合适的東西，比如——資料庫。

當然，要使用資料庫來進行日志分析還是需要一些代價的，最主要的就是如何将各種異構的日志檔案導入的資料庫中——這個過程通常稱為ETL（Extraction-Transformation-Loading）。幸好依然有各種現成的開源、免費的工具來幫助我們做這件事情，并且在日志種類不太多的時候，自己寫幾個簡單的腳本來完成這項工作也并不困難。例如可以将上面的日志去掉不必要的字段，然後導入如下的資料庫中：

現在需要考慮一下用什麼資料庫來存儲這些資料。MySQL是一個很經典的開源資料庫，它的傳統引擎（MyISAM或者InnoDB，行存儲）也許并不非常的适合日志資料的存儲，但是在小資料量的時候還是很夠用的。而且，在這方面現在已經有了更好的選擇，例如開源且免費的Infobright、Infinidb，都是專門為資料倉庫應用而進行了優化的資料引擎，采用列存儲，有良好的資料壓縮，處理幾百GB的資料基本上不是問題。

使用資料庫的好處之一就是，偉大的SQL可以幫我們很簡單的完成絕大部分的統計分析工作——PV隻需要SELECT+COUNT，計算搜尋詞排行隻需要SELECT+COUNT+GROUP+ORDER+LIMIT。此外，資料庫本身的結構化存儲模式也讓日志資料的管理變的更簡單，減少運維代價。

同樣還是上面的那個例子，簡單的一個SQL就可以搞定：

SELECT * FROM (SELECT ip, COUNT(*) AS ip_count FROM apache_log GROUP BY ip) a ORDER BY ip_count DESC LIMIT 100

至于性能問題，資料庫的索引和各種優化機制通常會讓我們的統計分析工作變得更快，并且上面提到的Infobright和Infinidb都專門為類似SUM、COUNt之類的聚集應用做了優化。當然也不是絕對的會快，例如在資料庫中進行LIKE操作，通常會比grep一個檔案還要慢很多。

更進一步的，使用基于資料庫的存儲，可以很容易的進行OLAP（聯機分析處理）應用，從日志中挖掘價值會變的更加簡單。

更多的資料怎麼辦

一個好的資料庫似乎會讓事情變的很簡單，但是别忘了前面提到的都是單機資料庫。一台單機在存儲容量、并發性上毫無疑問都是有很大限制的。而日志資料的特點之一就是随時間持續增長，并且由于很多分析過程往往需要曆史資料。短時間内的增長也許可以通過分庫、分表或者資料壓縮等來解決，不過很顯然并不是長久之計。

想要徹底解決資料規模增長帶來的問題，很自然的會想到使用分布式技術，結合上面的結論，也許使用某個分布式資料庫是一個好選擇，那麼對最終使用者就可以完全透明了。這個的确是很理想的情況，不過現實往往是殘酷的。

首先，實作比較完美的分布式資料庫（受限于CAP原則）是一個非常複雜的問題，是以在這裡并不像單機資料庫那樣，有那麼多開源的好東西可以用，甚至于商用的也并不是太多。當然，也并非絕對，如果有錢，還是可以考慮一下Oracle RAC、Greenplum之類東西。

其次，絕大多數分布式資料庫都是NoSQL的，是以想繼續用上SQL的那些優點基本上是沒指望，取而代之的都是一些簡單、難以使用的接口。單從這點看來，使用這些資料庫的價值已經降低很多了。

是以，還是先現實一點，先退一步考慮如何解決的超大規模的日志的分析問題，而不是想如何讓它變的像在小資料規模時那樣簡單。單單想做到這點，目前看來并不是太難，并且依然有免費的午餐可以吃。

Hadoop是偉大的Apache基金會下面的一套分布式系統，包括分布式檔案系統（HDFS）、MapReduce計算架構、HBase等很多元件——這些基本都是Google的GFS/MapReduce/BigTable的克隆産品。

Hadoop經過數年的發展，目前已經很成熟了，尤其是其中的HDFS和MapReduce計算架構元件。數百台機器的叢集已經被證明可以使用，可以承擔PB級别的資料。

Hadoop項目中的HBase是一個按列存儲的NoSQL分布式資料庫，它提供的功能和接口都非常簡單，隻能進行簡單的K-V查詢，是以并不直接适用于大多數日志分析應用。是以一般使用Hadoop來做日志分析，首先還是需要将日志存儲在HDFS中，然後再使用它提供的MapReduce API編寫日志分析程式。

MapReduce是一種分布式程式設計模型，并不難學習，但是很顯然使用它來處理日志的代價依然遠大于單機腳本或者SQL。一個簡單的詞頻統計計算可能都需要上百代碼——SQL隻需要一行，另外還有複雜的環境準備和啟動腳本。

例如同樣還是上面的例子，實作就要複雜的多，通常需要兩輪MapReduce來完成。首先要在第一輪的mapper中計算部分ip的通路次數之和，并以ip為key輸出：

//周遊輸入，并聚合結果

foreach(record in input) {

ip = record.ip;

dict[ip]++;

}

//用emit輸出，第一個參數為key，用于reduce的分發

foreach(<ip, count> in dict) {

emit(ip, count);

}

然後在第一輪的reduce中就可以得到每個ip完整的計數，可以順便排個序，并且隻保留前100個。

count = 0;

//對于每個key（ip）,周遊所有的values（count），并累加

while(input.values.hasNext()) {

count += input.values.next();

}

//插入到大小為100的堆中

heap_insert(input.key, count);

在reduce結束的時候輸出：

//輸出目前reduce中count最高的100個ip

foreach(<ip, count> in dict) {

emit(ip, count);

}

由于reduce一般會有很多個，是以最後還需要将所有reduce的輸出進行合并、再排序，并得到最終的前100個IP以及對應的通路量。

是以，使用Hadoop來做日志分析很顯然不是一件簡單事情，它帶來了很多的額外的學習和運維成本，但是至少，它讓超大規模的日志分析變成了可能。

怎樣變得更簡單

在超大規模的資料上做任何事情都不是一件容易的事情，包括日志分析，但也并不是說分布式的日志分析就一定要去寫MapReduce代碼，總是可以去做進一步的抽象，在特定的應用下讓事情變得更簡單。

也許有人會很自然的想到如果能用SQL來操作Hadoop上的資料該有多好。事實上，不僅僅隻有你一個人會這麼想，很多人都這麼想，并且他們實作了這個想法，于是就有了Hive。

Hive現在也是Hadoop項目下面的一個子項目，它可以讓我們用SQL的接口來執行MapReduce，甚至提供了JDBC和ODBC的接口。有了這個之後，Hadoop基本上被包裝成一個資料庫。當然實際上Hive的SQL最終還是被翻譯成了MapReduce代碼來執行，是以即使最簡單的SQL可能也要執行好幾十秒。幸好在通常的離線日志分析中，這個時間還是可以接受的。更重要的是，對于上面提到的例子，我們又可以用一樣的SQL來完成分析任務了。

當然Hive并不是完全的相容SQL文法，而且也不能做到完全的對使用者屏蔽細節。很多時候為了執行性能的優化，依然需要使用者去了解一些MapReduce的基本知識，根據自己的應用模式來設定一些參數，否則我們可能會發現一個查詢執行很慢，或者壓根執行不出來。

另外，很顯然Hive也并不能覆寫所有的需求，是以它依然保留插入原始MapReduce代碼的接口，以便擴充。

更多的問題

即使有了Hive這樣一個類似于資料庫的東西，我們依然還有很多事情需要做。例如時間久了，可能會有越來越多的需要例行執行的SQL，而這些SQL中，也許有一些是做了重複的事情；也許有一些的執行效率非常低下，一個複雜的SQL就占滿了所有的計算資源。這樣的系統會變得越來越難以維護的，直到有一天例行的SQL終于跑不完了。而最終使用者往往不會去關心這些事情，他們隻關心自己送出的查詢是不是能即時得到響應，怎麼樣才能盡快的拿到結果。

舉個簡單的例子，如果發現在使用apache_log的所有查詢中，幾乎沒有人用其中的user_agent字段，那麼我們完全可以把這個字段去除掉，或者拆分成兩張表，以減少多數查詢的IO時間，提高執行的效率。

為了系統化的解決這些問題，我們可能需要引入例行任務的排程機制，可能需要去分析所有的SQL來發現哪些是可以合并的、哪些的性能需要優化，使用的資料表是不是需要做水準或者垂直分表等等。根據實際情況的不同，這時事情可能是人工來完成，也可能是寫程式來自動分析并調整。

再者随着日志類型、分析需求的不斷增長。使用者會越來越多的抱怨很難找到想要的資料在哪份日志裡，或者跑的好好的查詢因為日志格式的變化而突然不能用了。另外上面提到的ETL過程也會變得複雜，簡單的轉換導入腳本很可能已經解決不了問題。這時候可能需要建構一個資料管理系統，或者幹脆考慮建立一個所謂的資料倉庫。

總之，随着日志資料量、日志類型、使用者數量、分析需求等等的不斷增長，越來越多的問題會逐漸浮現出來，日志分析這件事情可能就不再像我們最初想的那麼簡單，會變得越來越有價值，也越來越有挑戰。

Web日志挖掘分析的方法

日志檔案的格式及其包含的資訊

①2006-10-17 00:00:00②202.200.44.43 ③218.77.130.24 80 ④GET ⑤/favicon.ico 

⑥Mozilla/5.0+(Windows；+U；+Windows+NT+5.1；+zh-CN；+rv：1.8.0.3)+Gecko/20060426

+Firefox/1.5.0.3。

①通路時間；②使用者IP位址；③通路的URL，端口；④請求方法(“GET”、“POST”等)；

⑤通路模式；⑥agent，即使用者使用的作業系統類型和浏覽器軟體。

一、日志的簡單分析

1、注意那些被頻繁通路的資源

2、注意那些你網站上不存在資源的請求。常見的掃描式攻擊還包括傳遞惡意參數等：

3、觀察搜尋引擎蜘蛛的來訪情況

4、觀察訪客行為

應敵之策：

1、封殺某個IP

2、封殺某個浏覽器類型（Agent）

3、封殺某個來源（Referer）

4、防盜鍊

5、檔案重命名

作用：

1.對通路時間進行統計，可以得到伺服器在某些時間段的通路情況。

2.對IP進行統計，可以得到使用者的分布情況。

3.對請求URL的統計，可以得到網站頁面關注情況。

4.對錯誤請求的統計，可以更正有問題的頁面。

二、Web挖掘

根據所挖掘的Web 資料的類型，可以将Web 資料挖掘分為以下三類：Web 内容挖掘(Web Content Mining)、Web 結構挖掘(Web Structure Mining)、Web 使用挖掘(Web Usage Mining)（也稱為Web日志挖掘）。

①Web内容挖掘。Web内容挖掘是指從文檔的内容中提取知識。Web内容挖掘又分為文本挖掘和多媒體挖掘。目前多媒體資料的挖掘研究還處于探索階段,Web文本挖掘已經有了比較實用的功能。Web文本挖掘可以對Web上大量文檔集合的内容進行總結、分類、聚類、關聯分析,以及利用Web文檔進行趨勢預測等。Web文檔中的标記,例如<Title>和<Heading>等蘊含了額外的資訊,可以利用這些資訊來加強Web文本挖掘的作用。 

②Web結構挖掘。Web結構挖掘是從Web的組織結構和連結關系中推導知識。它不僅僅局限于文檔之間的超連結結構,還包括文檔内部的結構。文檔中的URL目錄路徑的結構等。Web結構挖掘能夠利用網頁間的超連結資訊對搜尋引擎的檢索結果進行相關度排序,尋找個人首頁和相似網頁,提高Web搜尋蜘蛛在網上的爬行效率,沿着超連結優先爬行。Web結構挖掘還可以用于對Web頁進行分類、預測使用者的Web連結使用及Web連結屬性的可視化。對各個商業搜尋引擎索引用的頁數量進行統計分析等。 

③Web使用記錄挖掘。Web使用記錄挖掘是指從Web的使用記錄中提取感興趣的模式，目前Web使用記錄挖掘方面的研究較多,WWW中的每個伺服器都保留了通路日志,記錄了關于使用者通路和互動的資訊,可以通過分析和研究Web日志記錄中的規律,來識别網站的潛在使用者;可以用基于擴充有向樹模型來識别使用者浏覽序列模式,進而進行Web日志挖掘;可以根據使用者通路的Web記錄挖掘使用者的興趣關聯規則,存放在興趣關聯知識庫中,作為對使用者行為進行預測的依據,進而為使用者預取一些Web頁面,加快使用者擷取頁面的速度，分析這些資料還可以幫助了解使用者的行為,進而改進站點的結構,或為使用者提供個性化的服務。

通過對Web伺服器日志中大量的使用者通路記錄深入分析，發現使用者的通路模式和興趣愛好等有趣、新穎、潛在有用的以及可了解的未知資訊和知識，用于分析站點的使用情況，進而輔助管理和支援決策。目前，web日志挖掘主要被用于個性化服務與定制、改進系統性能和結構、站點修改、商業智能以及web特征描述等諸多領域。

三、Web日志挖掘的方法

（一）首先，進行資料的預處理。

從學習者的通路日志中得到的原始日志記錄并不适于挖掘，必須進行适當的處理才能進行挖掘。是以，需要通過日志清理，去除無用的記錄；對于某些記錄，我們還需要通過站點結構資訊，把URL路徑補充成完整的通路序列；然後劃分學習者，并把學習者的會話劃分成多個事務。

（二）其次，進行模式發現

一旦學習者會話和事務識别完成，就可以采用下面的技術進行模式發現。模式發現, 是對預處理後的資料用資料挖掘算法來分析資料。分有統計、分類、聚類、關等多種方法。

① 路徑分析。它可以被用于判定在一個站點中最頻繁通路的路徑，還有一些其它的有關路徑的資訊通過路徑分析可以得出。路徑分析可以用來确定網站上的頻繁通路路徑, 進而調整和優化網站結構, 使得使用者通路所需網頁更加簡單快捷, 還可以根據使用者典型的浏覽模式用于智能推薦和有針對性的電子商務活動。例如：70% 的學習者在通路/ E-Business /M2時，是從/EB開始，經過/ E-Business /SimpleDescription，/ E-Business /M1；65%的學習者在浏覽4個或更少的頁面内容後就離開了。利用這些資訊就可以改進站點的設計結構。

② 關聯規則。 使用關聯規則發現方法，可以從Web的通路事務中找到的相關性。關聯規則是尋找在同一個事件中出現的不同項的相關性，用數學模型來描述關聯規則發現的問題：x=>y的蘊含式，其中x,y為屬性——值對集(或稱為項目集)，且X∩Y空集。在資料庫中若S%的包含屬性——值對集X的事務也包含屬性——值集Y，則關聯規則X=>Y的置信度為C%。

③ 序列模式。在時間戳有序的事務集中，序列模式的發現就是指那些如“一些項跟随另一個項”這樣的内部事務模式。它能發現資料庫中如“在某一段時間内，客戶購買商品A，接着會購買商品B，爾後又購買商品C，即序列A→B→C出現的頻率高”之類的資訊。序列模式描述的問題是：在給定的交易序列資料庫中，每個序列按照交易的時間排列的一組交易集，挖掘序列函數作用是傳回該資料庫中高頻率出現有序列。

④ 分類分析。發現分類規則可以給出識别一個特殊群體的公共屬性的描述，這種描述可以用于分類學習者。分類包括的挖掘技術将找出定義了一個項或事件是否屬于資料中某特定子集或類的規則。該類技術是最廣泛應用于各類業務問題的一類挖掘技術。分類算法最知名的是決策樹方法，此外還有神經元網絡、Bayesian分類等。例如：在/ E-Business /M4學習過的學習者中有40％是20左右的女大學生。

⑤聚類分析。可以從Web通路資訊資料中聚類出具有相似特性的學習者。在Web事務日志中，聚類學習者資訊或資料項能夠便于開發和設計未來的教學模式和學習群體。聚類是将資料集劃分為多個類，使得在同一類中的資料之間有較高的相似度，而在不同類中的資料差别盡可能大。在聚類技術中，沒有預先定義好的類别和訓練樣本存在，所有記錄都根據彼此相似程度來加以歸類。主要算法有k—means、DBSCAN等。聚類分析是把具有相似特征的使用者或資料項歸類,在網站管理中通過聚類具有相似浏覽行為的使用者。基于模糊理論的Web頁面聚類算法與客戶群體聚類算法的模糊聚類定義相同，客戶通路情況可用URL(Uj)表示。有Suj={(Ci，fSuj(Ci))|Ci∈C}，其中fSuj(Ci)→[0，1]是客戶Ci和URL(Uj)間的關聯度：式中m為客戶的數量，hits(Ci)表示客戶Ci通路URL(Uj)的次數。利用Suj和模糊理論中的相似度度量Sfij定義建立模糊相似矩陣，再根據相似類[Xi]R的定義構造相似類，合并相似類中的公共元素得到的等價類即為相關Web頁面。

⑥統計。統計方法是從Web 站點中抽取知識的最常用方法, 它通過分析會話檔案, 對浏覽時間、浏覽路徑等進行頻度、平均值等統計分析。雖然缺乏深度, 但仍可用于改進網站結構, 增強系統安全性, 提高網站通路的效率等。

⑦協同過濾。協同過濾技術采用最近鄰技術，利用客戶的曆史、喜好資訊計算使用者之間的距離，目标客戶對特點商品的喜好程度由最近鄰居對商品的評價的權重平均值來計算。

（三）最後，進行模式分析。

模式分析。基于以上的所有過程，對原始資料進行進一步分析，找出使用者的浏覽模式規律，即使用者的興趣愛好及習慣，并使其可視化，為網頁的規劃及網站建設的決策提供具體理論依據。其主要方法有：采用SQL查詢語句進行分析；将資料導入多元資料立方體中，用OLAP工具進行分析并給出可視化的結果輸出。（分類模式挖掘、聚類模式挖掘、時間序列模式挖掘、序列模式挖掘、關聯規則等）

四、關聯規則

（一）關聯規則

顧名思義，關聯規則（association rule）挖掘技術用于于發現資料庫中屬性之間的有趣聯系。一般使用支援度（support）和置信度（confidence）兩個參數來描述關聯規則的屬性。 

（二）Apriori方法簡介

Apriori算法最先是由Agrawal等人于1993年提出的，它的基本思想是：首先找出所有具有超出最小支援度的支援度項集，用頻繁的(k—1)-項集生成候選的頻繁k-項集；其次利用大項集産生所需的規則；任何頻繁項集的所有子集一定是頻繁項集是其核心。

Apriori算法需要兩個步驟：第一個是生成條目集；第二個是使用生成的條目集建立一組關聯規則。當我們把最小置信度設為85%，通過關聯規則的形成以及對應置信度的計算，我們可以從中得到以下有用的資訊：

1.置信度大于最小置信度時：我們可以這樣認為，使用者群體在浏覽相關網頁時，所呈列的連結之間是有很大關聯的，他們是使用者群的共同愛好，通過網頁布局的調整，從某種意義上，可以帶來更高的點選率及潛在客戶；

2.置信度小于最小置信度時：我們可以這樣認為，使用者群體對所呈列連結之間沒太多的關聯，亦或關聯規則中的連結在争奪使用者。

五、網站中Web日志挖掘内容

　　（1）網站的概要統計。網站的概要統計包括分析覆寫的時間、總的頁面數、通路數、會話數、惟一通路者、以及平均通路、最高通路、上周通路、昨日通路等結果集。

　　（2）内容通路分析。内容通路分析包括最多及最少被通路的頁面、最多通路路徑、最多通路的新聞、最高通路的時間等。

　　（3）客戶資訊分析。客戶資訊分析包括通路者的來源省份統計、通路者使用的浏覽器及作業系統分析、通路來自的頁面或者網站、來自的IP位址以及通路者使用的搜尋引擎。

　　（4）通路者活動周期行為分析。通路者活動周期行為分析包括一周7天的通路行為、一天24小時的通路行為、每周的最多的通路日、每天的最多通路時段等。

　　（5）主要通路錯誤分析。主要通路錯誤分析包括服務端錯誤、頁面找不到錯誤等。

　　（6）網站欄目分析。網站欄目分析包括定制的頻道和欄目設定，統計出各個欄目的通路情況，并進行分析。

（7）商務網站擴充分析。商務網站擴充分析是專門針對專題或多媒體檔案或下載下傳等内容的通路分析。

（8）有4個方向可以選擇:①對使用者點選行為的追蹤，click stream研究；②對網頁之間的關聯規則的研究；③對網站中各個頻道的浏覽模式的研究；④根據使用者浏覽行為，對使用者進行聚類，細分研究；（如果你能夠結合現有的網際網路産品和應用提出一些自己的建議和意見，那就更有價值了。）

（9）發現使用者通路模式。通過分析和探究Web日志記錄中的規律，可以識别電子商務的潛在客戶，提高對最終使用者的服務品質，并改進Web伺服器系統的性能。 

(10)反競争情報活動。反競争情報是企業競争情報活動的重要組成部分。

六、相關軟體及算法

（一）相關軟體：

1.資料挖掘的專用軟體wake。

2.用OLAP工具

3.已經有部分公司開發出了商用的網站使用者通路分析系統，如WebTrends公司的CommerceTrends 3.0,它能夠讓電子商務網站更好地了解其網站通路者的行為，幫助網站采取一些行動來将這些通路者變為顧客。CommerceTrends主要由3部分組成：Report Generation Server、Campain Analyzer和Webhouse Builder。

4.Accrue公司的Accrue Insight，它是一個綜合性的Web分析工具,它能夠對網站的運作狀況有個深入、細緻和準确的分析，通過分析顧客的行為模式，幫助網站采取措施來提高顧客對于網站的忠誠度，進而建立長期的顧客關系。

（二）相關算法：

1.運用各種算法進行資料挖掘：GSP算法, Prefixspana算法，

2.關聯規則分析：Apriori、FP-growth算法等。

3.Apriori算法及其變種算法

4.基于資料庫投影的序列模式生長技術（database project based sequential pattern growth）

5. Wake算法、MLC++等

6. PageRank算法和HITS算法利用Web頁面間的超連結資訊計算“權威型”（Authorities）網頁和“目錄型”（Hubs）網頁的權值。Web結構挖掘通常需要整個Web的全局資料，是以在個性化搜尋引擎或主題搜尋引擎研究領域得到了廣泛的應用。

7.參考檢索引擎的挖掘算法，比如Apache的lucene等。

七、日志分析的價值或應用

①在自己的網站上安裝了網站統計的代碼，如Google analytics、量子統計、百度統計、cnzz、51.la等，這些工具可以統計網站的流量，也就是網站上訪客可看到的所有頁面的通路量，但是這些統計工具都不能統計你主機上資源的原始通路資訊，例如某個圖檔被誰下載下傳了。

②如果你的網站遭到了攻擊、非法盜鍊和不良請求等，通過分析原始通路日志能大概分析出端倪來，例如：往主機上傳了一個mp3，不幸被百度mp3收錄，引來大量的盜鍊，導緻我的主機流量猛增！通過分析日志，可以找出問題根源，删除了那個mp3，主機流量也降下來了。

③分析訪客來源（Referer）。這一段是告訴我們訪客是從哪裡來到這一個網頁。有可能是網站其他頁，有可能是來自搜尋引擎的搜尋頁等。通過這條來源資訊，你可以揪出盜鍊者的網頁。

④網站日志分析軟體都能提供關于伺服器的浏覽量、統計網站所有頁面和相關檔案被顯示的次數、通路最多的網頁、用戶端通路最頻繁的檔案、通路者的IP分布、每日通路統計、每周每月等的統計結果。1.通路者通路時段分析。結合IP位址和時段之間的關系可以将來訪者大緻的身份作一個基本的判斷。如按上班前、工作期間、下班後、節假日等，可以針對訪客的初步性質安排合适的内容，如産品資訊和廣告；2.通路者地區分布。分析通過将通路者的IP位址轉換為地理區間可以分析出來訪者的大緻地理分布範圍。

⑤相關産品推薦。通過以上的關聯分析，有了使用者頻繁通路路徑和連結之間的興趣度，可以建構個性化推薦系統模型。對于實證例子，我們可以在置信度高于最低置信度的相關連結之間，建立某種資訊快速互聯的橋梁，亦或是在網頁規劃中，充分考慮連結之間的關聯關系，進而為更人性化、合理化的網頁設計提供決策依據。如：當客戶浏覽/newimg/num1.gif時，有0.91的機率會浏覽/newimg/num4.gif，那麼，在兩者之間就存在很高的關聯性，進而我們有必要對這兩個連結建立某種跟緊密的聯系。

⑥個性挖掘：針對單個使用者的使用記錄對該使用者進行模組化，結合該使用者基本資訊分析他的使用習慣、個人喜好，目的是在電子商務環境下為該使用者提供與衆不同的個性化服務。

⑦系統改進：Web服務（資料庫、網絡等）的性能和其他服務品質是衡量使用者滿意度的關鍵名額，Web 用法挖掘可以通過使用者的擁塞記錄發現站點的性能瓶頸，以提示站點管理者改進Web緩存政策、網絡傳輸政策、流量負載平衡機制和資料的分布政策。此外，可以通過分析網絡的非法入侵資料找到系統弱點，提高站點安全性，這在電子商務環境下尤為重要。

⑧站點修改：站點的結構和内容是吸引使用者的關鍵。Web 用法挖掘通過挖掘使用者的行為記錄和回報情況為站點設計者提供改進的依，比如頁面連接配接情況應如何組織、那些頁面應能夠直接通路等。

⑨智能商務：使用者怎樣使用Web站點的資訊無疑是電子商務銷售商關心的重點，使用者一次通路的周期可分為被吸引、駐留、購買和離開四個步驟，Web用法挖掘可以通過分析使用者點選流等Web日志資訊挖掘使用者行為的動機，以幫助銷售商合理安排銷售政策。

⑩Web特征描述：這類研究跟關注這樣通過使用者對站點的通路情況統計各個使用者在頁面上的互動情況，對使用者通路情況進行特征描述。