天天看點

大資料方案-數倉建設

阿裡雲方案

基于阿裡雲日志服務實作,拉取阿裡雲日志到本地資料庫存儲。

優點:實施速度快。

缺點:依賴阿裡雲日志服務,擴充性和靈活性較差。

大資料方案-數倉建設

自研方案

前端、雲端、Nginx等不同格式的日志發送到Kafka消息隊列,之後做ETL資料清洗,之後可以使用Storm做實時計算或使用Hive/Spark Streaming做離線批處理,處理結果存儲在Hbase中,使用Redis做緩存,ES做索引。次元等業務資料使用Binlog增量同步到Hbase中。

優點:能夠處理各種類型的海量資料,處理和查詢速度快;支援實時計算和離線計算;擴充性強。

缺點:伺服器成本較高,需要投入更多的伺服器資源。

大資料方案-數倉建設

繼續閱讀