天天看點

大資料架構如何做到流批一體?

現在已經有越來越多的行業和技術領域需求大資料分析系統,例如金融行業需要使用大資料系統結合 VaR(value at risk) 或者機器學習方案進行信貸風控,零售、餐飲行業需要大資料系統實作輔助銷售決策,各種 IOT 場景需要大資料系統持續聚合和分析時序資料,各大科技公司需要建立大資料分析中台等等。

抽象來看,支撐這些場景需求的分析系統,面臨大緻相同的技術挑戰:

業務分析的資料範圍橫跨實時資料和曆史資料,既需要低延遲的實時資料分析,也需要對 PB 級的曆史資料進行探索性的資料分析;

可靠性和可擴充性問題,使用者可能會存儲海量的曆史資料,同時資料規模有持續增長的趨勢,需要引入分布式存儲系統來滿足可靠性和可擴充性需求,同時保證成本可控;

技術棧深,需要組合流式元件、存儲系統、計算元件和;

可運維性要求高,複雜的大資料架構難以維護和管控;

繼續閱讀