pache hadoop 今年10歲了
這個以處理大量資料的實驗做為開端的開源軟體架構，已經穩步成長為以前所未有的方式解鎖資訊價值的成熟企業解決方案。今天，企業運用hadoop解決各種各樣的問題，從改善人類健康，到挖掘最大金融投資潛力，等等等等。10年間，業内見證了一個以hadoop為中心的龐大生态系統的誕生和快速發展。
現代企業場景裡，安全和風險從業者迅速認識到，資料洞見是了解、識别和解決企業威脅的關鍵。
我們開始意識到，網絡安全，從很多方面上講，就是個資料分析問題。正是由于這個原因，hadoop，攜其對海量資料的吸收、處理和分析能力，被廣泛采納來解決我們面臨的各種挑戰。
安全方面，hadoop讓使用者可以圈住他們企業産出的所有資料。他們對網絡、使用者、終端乃至物聯網(iot)産生的資訊都有完全的通路權——正是生産對可疑行為、異常和其他威脅名額的分析結果所需的那些東西。除此之外，hadoop還能讓企業可以利用機器學習和各種靈活的即插即用程式，無論它們來自專利産品還是開源市場。有了hadoop，你就有了足以應付目前和新興挑戰的解決方案。
情況并不總是這樣的。10年前，安全社群中很多人都覺得安全資訊和事件管理(siem)，以及其他遺留産品就足夠了。我們以為這些就能提供生産必要分析結果所需的全部相關資訊，可以應對網絡安全問題。但随着雲、移動、分布式計算和iot的飛速發展，我們明白了，這些系統根本不夠強大到能處理所有動态資料源，也無法應付膨脹至今的巨大規模。
siem和其他遺留解決方案，本就不是為海量資料設計的;分析師想緊跟對手發展速度，確定有效檢測能力，用這些遺留系統也肯定是擷取不到所需全部分析結果或上下文的。
安全人員受制于此類工具提供的資料和分析時，解決風險的可能做法也同樣被限制了。受限的功能，讓我們這些負責公司防禦的人，隻能找到商用、已知和不怎麼進階的攻擊。随着hadoop的出現，可用安全用例一下子擴充了許多。
多虧有了更大的資料集和更寬泛的可用分析技術，我們可以解答關于攻擊、威脅和風險的問題了。有了hadoop，企業可以獲得使用者行為分析以識别和緩解内部人威脅，标定網絡中的可疑橫向移動，甚至跨部門共享威脅情報。
安全人員職業生涯總是圍繞着3個問題：更快的事件檢測，加強事件響應，以及了解這些情況對企業的影響。有了hadoop，所有這三點都成為了可能，因為，從設計上，hadoop就提供對資訊、分析和上下文了解的通路。
安全社群不再受單一應用風險視角的限制。hadoop的靈活性，讓團隊可以擷取問題的解答，而不是隻能看到各安全應用和系統吐出的不同觀點。值得指出的是，hadoop處在內建專利和開源安全技術以産出全面網絡安全防禦的前沿。比如說，在開源方面，開放網絡洞見(oni)項目，便是采用開放資料模型和大資料分析，向hadoop平台引入進階威脅檢測解決方案的首批項目之一。
以上便是hadoop何以快速成為網絡安全工具不二之選的總體介紹。該平台還有很多實際應用，其開放性也讓網絡安全人員得以引入可以減少整體風險和暴露面的一系列功能。當然，這些，又是另一個值得探讨的話題了。
作者：nana
來源：51cto