對大資料進行實時分析

大資料分析（BDA）包括大資料的采集、存儲、分析、展示。而其中分析是BDA的關鍵。說到分析，可以分為曆史分析和實時分析。上次我們着重提過了曆史分析，尤其是互動式曆史分析，當然還有批處理式的曆史分析。

這次，我們回過頭來再談談實時分析，包括流處理、CEP，等等。

流處理在進行實時分析的時候具有天然的優勢，尤其是在相對于基于資料的分析的時候。流具有很高的實時性。

<b>傳統關系型資料庫</b>

<b>流資料庫</b>

關系型資料庫

面向對象的資料庫，包括POJO

磁盤/記憶體處理

記憶體處理

表（靜态）

流（動态、基于時間視窗）

記錄

事件

被動SQL查詢

主動模式比對（EQL，事件查詢語言）

EQL也有稱為CQL，持續查詢語言。

目前，在我們的SIEM産品中，關聯分析引擎采用了CEP技術。

開源的CEP也不不少，例如Esper，不過，要真正應用到SIEM中，還需要較大的修改，直接用還是不合适的。關鍵是要了解CEP的精髓。呵呵。

【參考】

<a href="http://yepeng.blog.51cto.com/3101105/1031023">對大資料進行互動式分析</a>

     本文轉自葉蓬 51CTO部落格，原文連結：http://blog.51cto.com/yepeng/1079682，如需轉載請自行聯系原作者