棱鏡門事件以來，nsa的全球監控行為遭到各國政府和人民的譴責，但美國情報部門所展現的大資料和資訊安全技術實力也成為各國政府甚至一流it企業為之“豔羨”的對象。
nsa為代表的美國國家安全和情報機構不但在資訊安全技術上領先業界數年，而且在大資料采集、處理和分析技術上也讓大資料技術廠商們“驚豔”。事實上，nsa大資料項目的規模、可擴充性、安全性在很多方面甚至超過了google、亞馬遜和蘋果這樣的大型網際網路企業。
nsa旗下的風險投資公司in-q-tel迄今已經投資了200多個雲計算、大資料、搜尋與分析創業項目（下圖），是美國大資料創業熱潮的最強力推手，因為獲得in-q-tel的投資本身還意味着來自政府部門的訂單。
毫不誇張地說，nsa才是美國大資料創業熱潮背後的真正推手。近日，前nsa工程師建立的資料庫創業公司sqrrl的首席執行官ely kahn在structure show視訊節目上解讀了大資料技術如何被應用于國家安全。sqrrl公司的産品基于開源nosql資料庫系統accumulo，而accumulo系統正是創辦sqrrl的工程師在nsa時開發的。
accumulo是prism棱鏡項目的核心
據kahn的介紹，accumulo資料庫系統是nsa企業架構的核心。大多數nsa的關鍵分析應用都運作在accumulo上。“我不能透露具體是哪些應用，但人們在新聞中看到的大多數監控和分析應用的背景都是accumulo。”accumulo的性能如此強大，足以配得上對nsa大規模監控行為的各種指責。從技術角度看，nsa已經能夠識别網絡上的各種可疑行為和個人，但是nsa還有一個“更大的想法”，kahn稱之為“生命分析的模式”：這些都可以歸結為異常分析，也是我們目前的重點。如何建立一種模式來識别異常和正常？這需要基于對大量應用案例的分析。我們今天的很多工作主要是圍繞圖譜分析（graph analytics）進行，建立大規模分布式的資料圖譜——圍繞一個具體的應用執行個體建立正常模式的資料圖譜，然後參照這個圖譜查找異常模式。
雲計算大資料集中，國防部已經行動起來
nsa采用的大資料處理和分析技術也适用于整個國防部，nsa的任務是建設一個能夠跨部門分享nsa資源的雲計算和大資料基礎設施，accumulo就是這個計劃的一部分，如今國防部希望将所有資料——從無人機視訊到醫療資料，都彙聚到一個單一的大資料分析系統中。
據kahn介紹，nsa正在進行中的一個重要項目代号“聯合資訊環境”（joint information environment），将在建立一個龐大的雲計算大資料基礎設施，整合國防部的海量應用執行個體——從網絡安全、戰場情報系統到醫療執行個體無所不包。
你可以不喜歡nsa，但nsa已經無可争議地在科技公司中确立了資訊安全和大資料技術上司者的地位。
<b>原文釋出時間為：2014-03-06</b>
<b></b>
<b>本文來自雲栖社群合作夥伴“大資料文摘”，了解相關資訊可以關注“bigdatadigest”微信公衆号</b>