大資料架構簡述（一）：大資料的本質

1.大資料是什麼

大資料由SCI的首席科學家JohmR.Masey于1998年在USENIX大會上首次提出。他在其發表的一篇名為Big Dara and the Next Wave of Infrastress的論文中首次提出Big Data這個詞。

Google在2003-2006年公布的關于GFS、MapReduce和BigTable的三篇論文推動了Hadoop的實作，而Hadoop的誕生極大促進了大資料技術的發展。

當然，Hadoop并不等同于大資料。大資料隻是一門市場語言，代表的是一種理念、一種問題解決的思路、一系列技術的集合。

2.營運商大資料架構

營運商大資料架構如圖所示

第一層是應用，在營運商領域分别解決SQM（運維品質管理）、CSE（客戶體驗提升）、MSS（市場運維支撐）、DMP（資料管理平台）等問題

第二層是各個元件/技術支撐。包括資料從産生擷取、處理（實時、批處理）、分析（互動式查詢、機器學習與資料挖掘）到最後的展示

第三層，為了支援資料的存儲處理，需要統一的資源管理及配置設定

第四層，上層架構和處理都建構在存儲的基礎上，是以存儲是基礎中的基礎

第五層，大資料部署形态有雲化部署、實體機部署等多種部署模式