企業級的大資料安全分析

這個文章系列是原載于TT上的，作者是Dan Sullivan。系列文章包括：

Introduction to big data security analytics in the enterprise

The business case for big data security analytics

Comparing the top big data security analytics tools

Five factors for evaluating big data security analytics platforms

Comparing the top security analytics tools in the industry

我在去年底看過，感覺其實也沒啥特别新的東西，就是總結了一下。

今天，看到InfoQ有人将其中頭兩篇翻譯了過來并發表了。中文終歸看起來更友善，就此轉載中文譯文供大家參考吧。

以下内容轉載自：http://www.infoq.com/cn/articles/enterprise-big-data-security-analysis

企業大資料安全分析

作者

張天雷

       釋出于

       2016年4月27日

企業和其他組織一直在充滿敵意的資訊安全環境中運作，在這個環境中，計算和存儲資源成為攻擊者使用入侵系統進行惡意攻擊的目标。其中，個人機密資訊被竊取，然後被放在地下市場出售，而國家支援的攻擊導緻大量資料洩露。在這種情況下，一個企業需要部署大資料安全性分析工具

來保護有價值的公司資源。

資訊安全的很大一部分工作是監控和分析伺服器、網絡和其他裝置上的資料。如今大資料分析方面的進步也已經應用于安防監控中，并且它們可被用

于實作更廣泛和更深入的分析。它們與傳統的資訊安全分析存在顯著的差異，本文将從兩個方面分别介紹大資料安全分析的新的特點，以及企業在選擇大資料分析技

術時需要考慮的關鍵因素。

大資料安全分析的特征

在許多方面，大資料安全分析是[安全資訊和事件管理security information and event management ，SIEM）及相關技術的延伸。雖然隻是在分析的資料量和資料類型方面存在量的差異，但對從安全裝置和應用程式提取到的資訊類型來說，卻導緻了質的差異。

大資料安全分析工具通常包括兩種功能類别：SIEM，以及性能和可用性監控（PAM）。SIEM工具通常包括日志管理、事件管理和行為分析，以及資料庫和應用程式監控。而PAM工具專注于運作管理。然而，大資料分析工具比純粹地将SIEM和PAM工具放在一起要擁有更多的功能；它們的目的是實時地收集、整合和分析大規模的資料，這需要一些額外的功能。

與SIEM一樣，大資料分析工具具有在網絡上準确發現裝置的能力。在一些情況下，一個配置管理資料庫可以補充和提高自動收集到的資料的質

量。此外，大資料分析工具還必須能夠與LDAP或Active

Directory伺服器，以及其他的第三方安全工具進行內建。對事件響應工作流程的支援對于SIEM工具可能并不是非常重要，但是當日志和其他來源的安

全事件資料的的資料量非常大時，這項功能就必不可少了。

大資料資訊安全分析與其他領域的安全分析的差別主要表現在五個主要特征。

主要特性1：可擴充性【Benny注：這裡應翻譯為可伸縮性，Scalability和Extensibility是有差別的】

大資料分析其中的一個主要特點是可伸縮性。這些平台必須擁有實時或接近實時的資料收集能力。網絡流通是一個不間斷的資料包流，資料分析的速度必須要和資料擷取的速度一樣快。該分析工具不可能讓網絡流通暫停來趕上積壓的需要分析的資料包。

大資料的安全分析不隻是用一種無狀态的方式檢查資料包或進行深度資料包分析，對這個問題的了解是非常重要的。雖然這些都是非常重要和必要的，但是具備跨越時間和空間的事件關聯能力是大資料分析平台的關鍵。這意味着隻需要一段很短的時間，一個裝置（比如web伺服器）上記錄的事件流，可以明顯地與一個終端使用者裝置上的事件相對應。

主要特性2：報告和可視化

大資料分析的另一個重要功能是對分析的報告和支援。安全專家早就通過報表工具來支援業務和合規性報告。他們也有通過帶預配置安全名額的儀表闆來提供關鍵性能名額的高層次概述。雖然現有的這兩種工具是必要的，但不足以滿足大資料的需求。

對安全分析師來說，要求可視化工具通過穩定和快速的識别方式将大資料中獲得的資訊呈現出來。例如，Sqrrl使用可視化技術，能夠幫助分析師了解互相連接配接的資料（如網站，使用者和HTTP交易資訊）中的複雜關系。

主要特性3：持久的大資料存儲

大資料安全分析名字的由來，是因為差別于其他安全工具，它提供了突出的存儲和分析能力。大資料安全分析的平台通常采用大資料存儲系統，例如Hadoop分布式檔案系統（HDFS）和更長的延遲檔案儲存，以及後端處理，以及一個行之有效的批處理計算模型MapReduce。但是MapReduce并不一定是非常有效的，它需要非常密集的I / O支出。一個流行工具Apache Spark可以作為MapReduce的替代，它是一個更廣義的處理模型，相比MapReduce能更有效地利用記憶體。

大資料分析系統，如MapReduce和Spark，解決了安全分析的計算需求。同時，長時持久存儲通常還取決于關系或NoSQL資料庫。

例如，Splunk

Hunk平台支援在Hadoop和NoSQL資料庫之上的分析和可視化。該平台位于一個組織的非關系型資料存儲與應用環境的其餘部分之間。Hunk應用直

接內建了資料存儲，不需要被轉移到二級記憶體存儲。Hunk平台包括用于分析大資料的一系列工具。它支援自定義的儀表闆和Hunk應用程式開發，它可以直接

建構在一個HDFS環境，以及自适應搜尋和可視化工具之上。

大資料安全分析平台的另一個重要特點是智能回報，在那裡建立了漏洞資料庫以及安全性部落格和其他新聞來源，潛在的有用資訊能夠被持續更新。大資料安全平台可從多種來源提取資料，能夠以它們自定義的資料收集方法複制威脅通知和關聯資訊。

主要特性4：資訊環境【Benny注：原文是Information context，其實應該翻譯為情境資訊，等價于context informaiton，已經成為安全領域的專有名詞了】

由于安全事件産生這麼多的資料，就給分析師和其他資訊安全專業人員帶來了巨大的風險，限制了他們辨識關鍵事件的能力。有用的大資料安全分析工具都在特定使用者、裝置和時間的環境下分析資料。

沒有這種背景的資料是沒什麼用的，并且會導緻更高的誤報率。背景資訊還改善了行為分析和異常檢測的品質。背景資訊可以包括相對靜态的資訊，

例如一個特定的雇員在特定部門工作。它還可以包括更多的動态資訊，例如，可能會随着時間而改變的典型使用模式。例如，周一早晨有大量對資料倉庫的通路資料

是很正常的，因為管理者需要進行一些臨時查詢，以便更好地了解周報中描述的事件。

主要特性5：功能廣泛性

大資料安全分析的最後一個顯著特征是它的功能涵蓋了非常廣泛的安全領域。當然，大資料分析将收集來自終端裝置的資料，可能是通過網際網路連接配接到TCP或IP網絡的任何裝置，包括筆記本電腦、智能手機或任何物聯網裝置。除了實體裝置和虛拟伺服器，大資料安全分析必須加入與軟體相關的安全性。例如，脆弱性評估被用于确定在給定的環境中的任何可能的安全漏洞。網絡是一個資訊和标準的豐富來源，例如Cisco開發的NetFlow網絡協定，其可以被用于收集給定網絡上的流量資訊。

大資料分析平台，也可以使用入侵檢測産品分析系統或環境行為，以發現可能的惡意活動。

大資料安全分析與其他形式的安全分析存在質的不同。需要可擴充性，需要內建和可視化不同類型資料的工具，環境資訊越來越重要，安全功能的廣泛性，其讓導緻供應商應用先進的資料分析和存儲工具到資訊安全中。

如何選擇合适的大資料安全分析平台

大資料安全分析技術結合了先進的安全事件分析功能和事故管理系統功能（SIEM），适用于很多企業案例，但不是全部。在投資大資料分析平台之前，請考慮公司使用大資料安全系統的組織的能力水準。這裡需要考慮幾個因素，從需要保護的IT基礎設施，到部署更多安全控制的成本和益處。

基礎設施規模

擁有大量IT基礎設施的組織是大資料安全分析主要候選者。應用程式、作業系統和網絡裝置都可以捕獲到惡意活動的痕迹。單獨一種類型的資料不能提供足夠的證據來辨別活動的威脅，多個資料源的組合可以為一個攻擊的狀态提供更全面的視角。

現有的基礎設施和安全控制生成了原始資料，但是大資料分析應用程式不需要收集、采集和分析所有的資訊。在隻有幾台裝置，而且網絡結構不是很複雜的環境中，大資料安全分析可能并不是十分必要，在這種情況下，傳統的SEIM可能已經足夠。

近實時監控

驅動大資料安全分析需求的另一個因素是近實時采集事故資訊的必要性。在一些儲存着高價值資料、同時又容易遭受到嚴重攻擊的環境中，實時監控尤為重要，如金融服務、醫療保健、政府機構等。

最近Verizon的研究發現，在60％的事件，攻擊者能夠在幾分鐘内攻克系統，但幾天内檢測到漏洞的比例也很低。減少檢測時間的一種方法是從整個基礎設施中實時地收集多樣資料，并立即篩選出與攻擊事件有關的資料。這是一個大資料分析的關鍵用例。

詳細曆史資料

盡管盡了最大努力，在一段時間内可能檢測不到攻擊。在這種情況下，能夠通路曆史日志和其它事件資料是很重要的。隻要有足夠的資料可用，驗證分析可以幫助識别攻擊是如何發生的。

在某些情況下，驗證分析不需要确定漏洞或糾正安全弱點。例如，如果一個小企業受到攻擊，最經濟有效的補救措施可能雇安全顧問來評估目前的配置和做法，并提出修改建議。在這種情況下，并不需要大資料安全分析。其他的安全措施就可能很有效，而且價格便宜。

本地vs雲基礎架構

顧名思義，大資料安全分析需要收集和分析大量各種類型的資料。如捕獲網絡上的所有流量的能力，對捕獲安全事件資訊的任何限制，都可能對從大資料安全分析系統獲得的資訊的品質産生嚴重影響。這一點在雲環境下尤其突出。

雲提供商限制網絡流量的通路，以減輕網絡攻擊的風險。例如，雲計算客戶不能開發網段來收集網絡資料包的全面資料。前瞻性的大資料安全分析使用者應該考慮雲計算供應商是如何施加限制來遏制分析範圍的。

有些情況下，大資料安全分析對雲基礎設施是有用的，但是，特别是雲上有關登入生成的資料。例如，亞馬遜Web服務提供了性能監控服務，稱為CloudWatch的，和雲API調用的審計日志，稱為CloudTrail。雲上的操作資料可能不會和其他資料源的資料一樣精細，但它可以補充其他資料源。

利用資料的能力

大資料安全分析攝取和關聯了大量資料。即使當資料被概括和聚集的時候，對它的解釋也可能是很有挑戰性的。從大資料分析産生的資訊的品質，部分上講是

分析師解釋資料能力的一項名額。當企業與安全事件扯上關系的時候，它們需要那些能夠切斷攻擊鍊路，以及了解網絡流量和作業系統事件的安全分析師。

例如，分析師可能會收到一個資料庫伺服器上有關可疑活動的警報。這很可能不是一個攻擊的第一步。分析師是否可以啟動一個警報，并通過導航曆史資料找到相關事件來确定它是否确實是一個攻擊？如果不能，那麼該組織并沒有意識到大資料安全分析平台帶來的好處。

其他安全控制

企業在投身大資料安全分析之前，需要考慮它們在安全實踐方面的整體成熟度。也就是說，其他更便宜和更為簡單的控制應該放在第一位。

應該定義、執行和監測清晰的身份和通路管理政策。例如，作業系統和應用程式應該定期修補。在虛拟環境的情況下，機器圖像應定期重建，以確定最新的更新檔被并入。應該使用警報系統監視可疑事件或顯著的環境變化（例如伺服器上增加了一個管理者帳戶）。應當部署web應用防火牆來減少注入攻擊的風險和其他基于應用程式的威脅。

大資料安全分析的好處可能是巨大的，尤其是當部署到已經實作了全面的防禦戰略的基礎設施。

大資料安全分析商業案例