企業擁抱大資料，Hadoop 和Spark漸受歡迎

雖然國内大資料相較國外起步較晚，但增長态勢卻一路上揚，完美诠釋了典型的“中國速度”，不僅是企業和政府使用者對于大資料的認知在提升，而且在搭建平台和提供資料服務方面，企業使用者也開始了更為深入的探索。

來自中國信通院的資料顯示：2016年中國大資料市場規模将達到16.8億元人民币，增速為45%，預計未來3年（2017～2020年），增速将穩步保持在30%以上。

市場風生水起，離不開政府層面的扶持。國家“十三五”規劃綱要明确表示：實施國家大資料戰略是“十三五”時期的重點。去年國家力挺大資料應用，批複了京津冀等7個國家級大資料綜合試驗區和超過10個大資料國家工程實驗室。

緊接着，今年1月國家印發的《大資料産業發展規劃(2016-2020年)》（以下簡稱《規劃》）無疑又為火熱的大資料又添了一把柴。按照《規劃》預計，在2020年，我國技術先進、應用繁榮、保障有力的大資料産業體系将基本形成，大資料相關産品和服務業務收入将突破1萬億元人民币。

實體産業的落地速度也是快馬加鞭，就在本月，坐落于廊坊的京津冀大資料創新應用中心主體工程竣工，并于5月18日正式投入營運。該中心包含體驗中心、研發中心、雙創中心、應用中心、感覺中心5大核心功能區，打造以大資料為核心的特色産業體系。

“利用大資料改造傳統動能、培育新動能，對實作創新驅動發展，意義重大、前景廣闊”，工業和資訊化部副部長陳肇雄表示，一方面引導地方結合自身條件，科學謀劃發展重點，在大資料産業特色優勢明顯的地區建設一批産業集聚區；另一方面，支援地方大資料應用試點，開展系統性探索試驗，形成有效經驗和模式，加快推廣普及。

政府資料開放“三不”寫成了難

雖然有國家政策保駕護航，但擺在産業界面前的難題也不少，想要真正實作商業化，形成良性的産業生态道阻且長。諸如在時下高度受關注的大資料共享和開放方面，産業界還未找到行之有效的方法。

中國工程院院士邬賀铨對此表示：缺乏公共平台、共享不通暢、開放總量偏低、結構化程度低，群眾參與回報不準等，這些都是擺在資料共享開放前面的最直接難題。

大資料的價值在于融合和挖掘，作為擁有最大資料源基礎的政府一方，本該在資料共享方面起到表率作用，促進資料的融合挖掘，但現實卻是政府資料開放呈現三個“不”字。

不敢于、不願意、不容易，這三個關鍵詞正好反映出目前政務雲建設過程中，政府對于資料開放共享的真實态度。

中國資訊通信研究院院長劉多表示，由于國家層面目前在資料安全方面還缺乏具有指導性的規定和細則，這就導緻政府在共享資料方面不敢于也不願意邁出大步；另一方面，政府it系統多為封閉的“煙囪式”it建構，即便想要資料共享，也需要接口的标準化和統一的頂層設計。

“開放共享對于政務透明、全社會信用體系建設和創新都非常重要，我們需要共同努力！”劉多如是說。

産業動起來，hadoop 和spark漸受歡迎

監管未細，但産業界早已行動。來自中國信通院一份國内1465 使用者的大資料問卷調查顯示：近六成企業已成立資料分析相關部門，27.3% 的企業計劃成立資料部門。更重要的是，絕大部分企業均已意識到資料分析對企業發展的重要性，在使用者看來，大資料能夠為企業帶來最直覺的效果就是：智能決策和提升營運效率。

更有趣的是，市場對于搭建大資料平台的方式也在發生微妙的變化，相較于前兩年直接購買內建一體機的方式，在2016年，傾向于本地自建大資料平台（48.6%）和采購雲服務商的大資料服務（33.1%）的比例占到了總體受訪者的80%。

這似乎已經傳遞出一個非常明确的趨勢：企業擁抱大資料，更青睐以開源平台來建構大資料，這也就解釋了業界為何如此看重hadoop 和spark這兩項大資料平台技術架構的原因。

不過開源之路并不像看上去那麼美好，除了自身具備一定的技術實力之外，如何融入從國外舶來的開源社群文化，兼顧資料服務的安全性、穩定性和可擴充性都将成為企業使用者即将面對的重要課題。

本文轉自d1net（轉載）