雲Kafka搭配雲HBase X-Pack建構一體化資料處理平台

雲HBase X-Pack是基于Apache HBase、Phoenix、Spark深度擴充，融合Solr檢索等技術，支援海量資料的一站式存儲、檢索與分析。融合雲kafka+雲HBase X-Pack能夠建構一體化的資料處理平台，支援風控、推薦、檢索、畫像、社交、物聯網、時空、表單查詢、離線數倉等場景，助力企業資料智能化。

下面是業界廣泛應用的大資料中台架構，其中HBase&Spark選擇 雲HBase X-Pack産品相關

使用者文檔 , 購買頁面 :

• 消息流入：Flume、Logstash、或者線上庫的binlog流入消息中間件Kafka
• 實時計算：通過X-Pack Spark Streaming實時的消費Kafka的消息，寫入到雲HBase中對外提供線上查詢
• 實時存儲與檢索：雲HBase融合solr以及phoenix sql層能夠提供海量的實時存儲，以及線上查詢檢索
• 批處理、數倉及算法：線上存儲HBase的資料可以自動歸檔到X-Pack Spark數倉。全量資料沉澱到Spark數倉(HiveMeta)，做批處理、算法分析等複雜計算，結果回流到線上庫對外提供查詢。

該套方案的實踐操作可以

參考文章

，同時有雲HBase&Spark的樣例

代碼庫

可參考