Hadoop專業解決方案之建構Hadoop企業級應用

一、大資料的挑戰

　　大資料面對挑戰是你必須重新思考建構資料分析應用的方式。傳統方式的應用建構是基于資料存儲在不支援大資料處理的基礎之上。這主要是因為一下原因：

　　1.傳統應用的基礎設施是基于傳統資料庫通路模式設計的，它不支援hadoop；

　　2.資料存儲在hadoop之上，實時通路叢集中部分資料是可行的；

　　3.hadoop大資料存儲能力使得你可以存儲資料集的多個版本，來挑戰傳統覆寫資料方式。

二、大資料應用系統架構

三、架構說明

1.資料源層：datasource資料的收集可以基于flume或者sqoop進行；

2.資料倉庫層：需要區分結構化資料和非結構化資料存儲，同時需要考慮過程資料的存儲問題；

3.業務層：針對資料處理層oozie可以做為工作流排程的工具，map/reduce任務可以作為任務執行的單元；

4.實時查詢：必須加通路限制和條件過濾；

。。。未完待續。。。

《hadoop專業解決方案》同步更新中，請關注hadoop進階教育訓練交流群：293503507