天天看點

埋點資料收集架構設計方案1.背景服務端會記錄所有的請求資料,存放到本地的日志檔案。2.使用資料收集架構Logstash或

作者:架構筆記

埋點資料收集架構設計方案

1. 背景服務端會記錄所有的請求資料,存放到本地的日志檔案。

2. 使用資料收集架構Logstash或者FileBeat,從日志檔案抽取原始的日志資料,不加工直接推送到Kafka當中。

3. 通過Apache Flink從Kafka中拉取原始的日志資料,并且經過業務加工,分别存放到Elasticsearch、HBase和MySQL中。

4. Elasticsearch 用來提供即時查詢服務,它将查詢關鍵字段的值和請求ID存放到索引中,根據查詢條件獲得結果ID的清單,再通過結果ID去HBase中擷取詳細的請求資料。Elasticsearch 相當于HBase的二級索引。

5. MySQL存放一些組合加工後的資料,用來做結算,結算的資料查詢和處理請求量不大。

埋點資料收集架構設計方案1.背景服務端會記錄所有的請求資料,存放到本地的日志檔案。2.使用資料收集架構Logstash或
埋點資料收集架構設計方案1.背景服務端會記錄所有的請求資料,存放到本地的日志檔案。2.使用資料收集架構Logstash或
埋點資料收集架構設計方案1.背景服務端會記錄所有的請求資料,存放到本地的日志檔案。2.使用資料收集架構Logstash或

繼續閱讀