天天看點

雲原生架構下日志服務資料預處理

直達最佳實踐:【 雲原生架構下日志服務資料預處理

最佳實踐頻道:【

最佳實踐頻道 這裡有豐富的企業上雲最佳實踐,從典型場景入門,提供一系列項目實踐方案,降低企業上雲門檻的同時滿足您的需求!

場景描述

某家國際教育機構,提供線上教育服務,其使用者主要分布在中美兩地,該企業擁抱雲計算,在架構設計上也全面采用了雲原生服務,本實踐将重點聚焦該客戶以下幾個典型場景:

場景一:跨地域/跨賬号資料彙集

場景二:資料内容富化(join維表)

場景三:資料投遞/歸檔、入湖分析

場景四:統一采集,按業務分發分析

場景五:資料監控與智能告警

基于這些場景,本篇實踐會介紹對應的解決方案和最佳實踐操作手冊,友善使用者快速快速對号入座,解決雲原生架構下的常見日志難題。

方案優勢

  • 資料規整:對混亂格式的日志進行字段提取、格式轉換,擷取結構化資料以支援後續的流處理、數倉計算。
  • 資料富化:日志(例如業務訂單)與維表(例如使用者資訊MySQL表)進行字段join,為日志添加更多元度資訊供分析。
  • 資料分發/彙聚:将全量日志按轉發規則分别提取到多個下遊存儲供不同業務使用。
  • 監控告警:監控大規模資料,觸發告警,支援機器學習算法(e.g:智能巡檢),通過告警政策配置,對觸發的告警進行降噪處理(去重、靜默、合并、抑制、路由分派等),然後分派給特定通知管道(短信、郵件等)。

産品清單

  • 雲架構設計工具CADT
  • 日志服務SLS
  • 對象存儲OSS
  • 資料湖分析DLA
  • 雲資料庫RDS MySQL版

業務架構

雲原生架構下日志服務資料預處理
直達最佳實踐 》》
雲原生架構下日志服務資料預處理