實時大資料分析是網絡分析的一種新方法

RTBDA概述

當被分解到其最簡單的形式時，大資料分析包括兩部分，以便将自身與資料倉庫和商業智能進行區分：

實時行動

分布式，并行處理

大資料分析能夠解決處理大量無關且不能存放在一個單一的伺服器或資料庫的資料集所帶來的普遍的挑戰問題。而這個問題可以通過使用分布式并行處理分布在多個伺服器的大型資料集得以解決，每台伺服器處理并行資料的一部分。大資料分析可以與結構化和非結構化資料工作，因為它并不需要一個特定的結構。這種做法的一個例子将使用Hadoop的MapReduce，其也可以看作是大資料對今天的深遠影響。

盡管目前有方法來處理大量的資料，大資料處理縮小以便能夠在指定的時間内完成。現在，時限這一概念比以往任何時候都越來越都多的與“實時”相關。

盡管RTBDA仍然是一個相對較新的概念，但其解決了實時主動或被動的采取措施的需求。而這是基于網際網路内容和服務提供商們了解到了正在發生的事情，檢查情況并實時采取行動。

了解“實時”電信

在實時大資料分析：新興架構大會上，邁克巴洛問道，“所謂的實時到底有多'實時'?”“這取決于你的目标，問題的答案會有動态的變化。在某些情況下，秒或毫秒就足夠了，而在另一些情況下，實時需要更快。

這個問題是從電信方面很有趣。它揭示了目前的電信營運商們如果想要成功的解決OTT公司所帶來的流量挑戰所必須面臨的一個潛在的弱點。這樣的話，目前在電信行業所能夠接受的“實時”的标準就顯得不再足夠了。

此前，電信網絡使用面向連接配接的技術。程式隻能進行集中在一個高度結構化的程序，前一分鐘的網絡與後一分鐘并沒有多大的修改，甚至時間跨度一小時也不會有太大改變。在這些情況下，在一緻的時間間隔從網絡上收集資訊就知道發生了什麼。該協定的管理資訊豐富，能夠從一個協定聚集大量的洞察力。在這種情況下，“實時”可以在幾秒鐘之内甚至幾分鐘内定義，這就是為什麼他們通過每5到15分鐘收集呼叫詳細記錄（CDR）就能充分獲得完全的洞察力的原因了。

同樣的情形在今天已經不再可能。向LTE的過渡使電信營運商完成過渡到基于以太網和IP的資料包網絡，其功能與面向連接配接的技術和協定是完全不同的。

IP網絡的一個基本原則是：網絡是自給自足的。網絡提供了流量傳輸的通道，并依據流量擁堵和其他情況進行網絡路徑重定向。這個特點使網絡能夠迅速就相關的改變做出回應。缺點是無法确切地預測流量。這種情況又因以太網和IP協定變得複雜，缺乏面向連接配接的協定所能提供的同等水準的管理資訊。

分組傳輸網絡（Packet networks ）本質上也是動态的，因為其設計初衷是為多個使用者共享相同的基礎設施提供服務的。在較長的一段時間，網絡的消耗看起來很低，但在現實中流量傳輸需求很大，可能消耗掉所有可用的帶寬。在這種情況下，對IP網絡應該做出回報，確定流量是在穩定的網絡上傳輸。最終，在網絡中可能從一個IP包或以太網幀到下一個發生變化。

電信網絡管理和資料分析的中心問題是他們都依靠事件詳細記錄（EDRs），CDRs和IP詳細記錄（IPDRs）來深入了解實時發生的狀況。

在過去，“實時”這一定義每隔幾分鐘就已經足夠了。當我們考慮到以太網幀在10 Gbps網絡可以以每幀短短67納秒的時間在之間以太網幀傳輸，我們就開始了解在一個分組傳輸網絡的“實時”指的是什麼了。在現如今這個快節奏的環境“實時”的概念已經不僅不是分鐘，也不是秒來。今天，其是以納秒為時間間隔了。

實時評估

使用CDRs，EDRs和IPDRs進行大資料分析是一個好主意，這取決于企業正在努力完成的任務。大資料分析可以以兩種方式制定決策：

實時決策

根據趨勢及預測分析加強規劃，以及服務和網絡的優化

利用明細記錄、以及其他結構化和非結構化資料源進行優化和規劃是必要的。這些記錄包括豐富的資訊，幫助預測有用的趨勢。除非輔以分組網絡的實時資訊，提供關于發生了什麼的精确細節，否則這些資訊将無法提供一個完整的視圖。

不幸的是，詳細的記錄不能用于實時決策，因為其隻是每5至15分鐘的時間間隔進行收集。這個時間間隔與我們對什麼是真正分組網絡實時的了解不相容。其需要不斷收集，存儲和分析真正的實時網絡資訊，進行決策。要了解網絡正在發生什麼，必須對所有相關的以太網幀與IP資料包進行實時審查。

通過以這種方式捕獲和存儲網絡資訊，我們不僅具備了能夠分析使用實時資訊的能力，同時也可以為我們提供一個了解在資訊網絡發生了什麼事件的基礎的詳細可靠的方式，以補充其他大資料的活動的洞察。

RTBDA在電信行業的應用

實時資料采集層可以為決策制定提供可操作的、層出不窮的材料。無論是電信管理論壇和IP網絡監控的服務品質智能支援（IPNQSIS）項目，以及歐洲Celtic-Plus計劃的一部分，都曾研究過這個需求，作為提升各自客戶體驗管理的努力的一部分。這兩個項目的結論是，探頭和裝置對于了解在網絡中正在發生的事情的可靠，實時洞察是必要的。

典型地，探頭資料采集器将資料傳送到其他管理系統，而裝置使用相同的技術，而且能夠分析資料，并可以在本地存儲資訊。通常情況下，裝置集中于一個特定的任務，比如性能監控，測試和測量，或安全性，并且往往被視為滿足非常具體的要求。在另一方面，探頭和裝置可以作為大資料分析的實時資料源發揮更多的戰術作用，并幫助實作RTBDA戰略。下文中提供了一個這樣的基礎設施如何實作的三個步驟的視圖。

實作部署

最初的步驟需要資料采集裝置的部署。這裡的一個關鍵因素是以太網幀和IP資料包必須被實時捕獲，不管在什麼情況下，以線速度且零資料包丢失。這種可見性證明了源源不斷的可靠資訊的收集。

每幀必須被賦予獨特的時間間隔，以保證精确的時間表可以被建立，不僅涵蓋本地的裝置，同時還能跨多個裝置。這些時間間隔精度必須是以納秒為計量機關。例如，在10 Gbps的網絡以太網幀隻有67納秒的時間間隔，時間間隔分辨率必須小于67納秒。否則，兩個以太網幀都會收到相同的時間間隔，使得其很難區分。在一個100 Gbps的網絡，這段時間間隔将減少到6.7納秒。

結合零資料包丢失捕捉納秒級精度的實時資料，確定了我們能夠掌握一緻的，準确的資料分析資訊流。

存儲

其次，收集的資訊應該實時被存儲。幾個裝置提供捕捉的資料存儲到磁盤，允許實時的資料可以直接存儲到本地硬碟。另外，這些資料可以被轉移到一個存儲區域網絡（SAN）或其他位置。捕獲的資料可以被用來在網絡上建立一個曆史年表，以精确的細節記錄發生了什麼。其可能用來重制到底發生了什麼事，當進行重制時，使用這些資料。

這段細節記錄曆史是資料分析的一個豐富的資訊源。這種類型的資料可以為資料資訊的使用和行為模式提供洞察。如果裝置具有深度資料包檢測（DPI）的功能，那麼，使用服務，包括網際網路服務，可以監視和分析時間，地點和裝置類型使用方面的趨勢。

這種資訊本身對于網絡和服務的優化是一種寶貴的資源。可以據此來規劃新的，有針對性的服務，以比對使用者的喜好。此外，這些資訊可以為網際網路内容服務提供商提供洞察，讓營運商能夠向潛在客戶提供令人信服的服務能力。

最後，實時的資料存儲有助于實作實時決策。捕獲到磁盤的曆史資訊可幫助開發預期行為的配置檔案。當資料與網絡活動的實時資訊并置時，能夠檢測出意想不到的事件或異常。這些問題可能是一個安全威脅，也有可能是性能下降或有機會為客戶提供一個資料擴充包或互補性的服務。

從RTBDA的角度來看，這種能力與OTT内容及服務提供商執行的能力是非常接近的，基于對對目前正在發生的事情，并與過去的事情比較進行了解做出實時的反應。

RTBDA戰略基礎

遵循這三個步驟來實施，通過探頭和裝置提供的實時資訊可以用來實作RTBDA電信網絡以及在大資料分析戰略規劃中用其他資訊來源以補充。

這一技術和産品用來實作戰略部署不僅僅是可用的，而且已經被廣泛使用了，隻是不以這方面的目的。更有趣的是，當今絕大多數企業，金融，政府和電信網絡所使用的裝置都是基于現成的伺服器技術，其是與未來的營運計劃相相容的。

軟體定義的網絡（SDN）和網絡虛拟化功能（NFV）政策的基石都是基于現成的伺服器硬體。

RTBDA在未來的電信業的展望

現在是時候需要現代電信網絡重新考慮“實時”這一概念的意義，以及他們所使用的大資料分析的資訊源了。電信營運商必須開始評估在網絡中使用探頭和裝置技術等更多的戰術方法來提供RTBDA了。這樣，不僅能夠為規劃決策提供更準确的資訊，同時也可以創造新的機會，提供更好的服務，不僅為最終使用者，也為OTT服務提供商自身。這種能力最終可以幫助電信網絡的OTT解決流量的貨币化問題。

原文釋出時間為： 2014年05月15日

本文作者：litao984lt

本文來自雲栖社群合作夥伴至頂網，了解相關資訊可以關注至頂網。