阿裡雲方案
基于阿裡雲日志服務實作,拉取阿裡雲日志到本地資料庫存儲。
優點:實施速度快。
缺點:依賴阿裡雲日志服務,擴充性和靈活性較差。

自研方案
前端、雲端、Nginx等不同格式的日志發送到Kafka消息隊列,之後做ETL資料清洗,之後可以使用Storm做實時計算或使用Hive/Spark Streaming做離線批處理,處理結果存儲在Hbase中,使用Redis做緩存,ES做索引。次元等業務資料使用Binlog增量同步到Hbase中。
優點:能夠處理各種類型的海量資料,處理和查詢速度快;支援實時計算和離線計算;擴充性強。
缺點:伺服器成本較高,需要投入更多的伺服器資源。