網絡流量分析之流量采集到流量還原

      網絡流量貫穿業務流轉的各個環節，從我們個人PC、手機，到IDC資料中心、WEB和APP應用等都需要通過網絡流量完成資料互動。是以，根據"隻要有攻擊就會有流量産生"這樣的樸素道理，無論是網絡層的防DDoS、主機層的防入侵還是應用層防漏洞，都是圍繞網絡流量分析展開，基于NTA網絡流量分析的安全産品在安全領域始終占據舉足輕重的地位。

      本文根據近來做IDS入侵檢測流量分析相關的經驗，基于流量分析的常見應用形式，總結流量分析常用的技術手段，包括流量采集常用的方法及工具，以及流量還原技術的基本原理。

為什麼需要流量分析？

      要了解網絡真實的運作情況，及時發現運作中存在的問題，必須對網絡流量有一個全面了解。不同的應用層面，流量分析起到的作用不同，比如營運商需要通過分析使用者網絡流量來計算網絡消費、掌握使用者對其他營運商的通路情況，為網絡出口互聯鍊路的設定提供決策資料支撐等；業務應用層如網站提供方則通過流量分析了解網站訪客的資料，如IP位址、浏覽器資訊等，統計網站線上人數，了解使用者所通路網站頁面，通過分析出異常幫助網站管理者知道是否有濫用或者攻擊現象，了解網站使用情況，提前應對網站伺服器系統的負載問題等；而安全監測領域則通過流量分析實作對網絡異常通信的監測，防範常見的網絡入侵、DDOS攻擊和疆木蠕感染傳播等。

如何進行流量分析？

      面對複雜多變的規模龐大的網絡環境，需要一個能夠适應不同環境和高效分析處理的系統。首先我們需要對不同的采集技術有初步的認識。

網絡流量分析的常用技術手段：

1. 基于硬體探針的流量分析技術

   探針是專門用于擷取網絡鍊路流量資料的硬體裝置。按實作方式可以分為軟體架構和硬體架構。使用時是通過交換機流量鏡像端口或直接将其串接在待觀測的鍊路上，對鍊路上所有的資料封包進行處理，提取流量監測所需的協定字段甚至全部封包内容。最大特點是能夠提供豐富的從實體層到應用層的詳細資訊，也就是目前基于NTA技術産品如IDS、NDR等最常用到的方案。

2. 基于SNMP的流量分析技術

   SNMP（SimpleNetworkManagementProtocol，簡單網絡管理協定）通常用于收集基本流量詳細資訊，例如位元組/資料包，通過“利用網絡管理網絡”的方式，實作對網絡裝置的批量管理，進而提高裝置管理效率。該方式僅能對網絡裝置端口的整體流量進行分析，能擷取裝置端口出入曆史或實時的流量統計資訊、不能深入分析包類型、流向資訊，具有實作簡單，标準統一，接口開放的特點。

3. 基于Netflow的流量分析技術

   NetFlow是Cisco公司開發的技術，它既是一種交換技術，又是一種流量分析技術，同時也是業界主流的計費技術之一。NetFlow可以對特定網絡位置的每個資料包進行采樣，可以詳細統計IP流量的時間、地點、協定類型、包數量、位元組數、流數量等。NetFlow會告訴您誰在消耗帶寬以及消耗帶寬的原因，相比SNMP更加細緻，主要應用于骨幹網流量采樣、DDOS攻擊檢測等大流量分析領域。

4. 基于實時抓包分析的流量分析技術

   通過軟體抓包工具如wireshark、tcpdump等進行實時抓包和分析，這也是個人使用者做網絡協定分析最常用的方式。該方式提供較為詳細的從實體層到應用層的資料分析。但該方法主要側重于協定分析，而非使用者流量通路統計和趨勢分析，僅能在短時間内對流經接口的資料包進行分析，無法滿足大流量、長期的抓包和趨勢分析的要求。

如何還原流量？

      原始的網絡流量以二進制方式呈現，無法直接讀取和應用，是以需要通過相關工具和技術，把網絡流量變成更加容易讀取的資料資訊，在這過程中就要對采集到的網絡流量進行解碼和分析，包括識别流量中的協定、業務、提取流量中的原始檔案等。

流量資料包解析還原的過程，就是是對二進制比特流中各個位置的字段進行提取和解析重組的過程。當中使用了多種技術，包括端口比對、流量特征檢測、自動連接配接關聯和行為特征分析。

1）端口比對：在網絡協定發展的過程當中，已經形成了一系列的标準協定規範， 其中規定了不同協定使用的端口如80端口的HTTP協定、53端口的DNS協定等等，另外很多廣泛使用的應用程式雖然沒有别标準化，但已經形成了事實上的标準端口。端口比對就是根據這些标準或非标準的對應關系，根據TCP/UDP 的端口來識别應用。這種方式具有檢測效率高的優點，弱點是容易被僞造， 是以在端口檢測的基礎上，還需要增加一些特征檢測的判斷和分析，來進一步分析這部分資料。

2）流量特征檢測：相對于端口，不同的應用程式使用的協定也存在大量的共性。這些共性就是所謂的流量特征。對于流量特征的識别，大緻分為兩種：一種是有标準協定的識别如HTTP、DNS，TCP/IP作為标準的通信協定，在對資料包鍊路層、網絡層、傳輸層進行解碼時，隻需要參照标準格式規範進行解碼分析即可；另一種是私有協定的識别，如果協定基于TCP或UDP協定采用的标準接口格式，隻需要參照标準的格式進行解碼分析即可，否則可能需要通過逆向工程分析協定機制，直接或解密後通過封包流的特征字段來識别該通信流量。

3）自動連接配接關聯：随着網際網路應用的發展，在網際網路上傳輸的資料越來越多，單個連接配接完成所有任務的模式也逐漸開始出現瓶頸，是以很多協定開始采用動态協商端口的方式進行傳輸，這種模式最早出現在标準的 FTP 協定上，後來逐漸在語音、視訊和檔案的傳輸上面被廣泛使用。為了識别這種資料，需要根據控制連結上面的封包資訊，自動關聯到資料傳輸的連結并對其進行還原，這種技術稱為自動連接配接關聯。

4）行為特征分析：針對一些不便于還原的資料流量，可以采用行為特征的方法進行分析。這種方法不試圖分析對外連結接上面的資料，而是使用連結的統計特征，如特定的特征字段、連接配接數、單個IP的連接配接模式、上下行流量的比例、資料包發送頻率等名額來區分應用類型。如分析RDP或者SSH登陸等加密流量，可能無法完全還原流量通信内容，但是通過流量封包中的特定字段可以識别出該封包是主機登陸行為，一旦這類行為的封包異常高頻出現，就能夠判斷可能出現登陸爆破的行為。