思考（八十）：日志資料分析

日志資料分析

在生産實踐中，日志資料分析通常做的都不是很好。

有以下幾個原因：

• 日志資料不合理，管道多樣，造成分析困難
• 沒有固化分析過程，導緻重複分析。即不懂的需要維護、疊代

本文給出一個日志資料分析方法，還解決以上問題

資料埋點

分析基于資料，是以首要解決日志資料落地問題

目前大區大服的架構下，基本上會有非常多的服務節點

是以，目前常見的會把資料打到 elasticsearch 中

比如前置 kibana ，來查詢日志

做資料分析，自然可以基于 elasticsearch ，把它看做資料庫，提取有用的資料

分析過程說明

1. 從 es 中抓取資料，到 csv
2. 基于 csv ，按 SQL 方式建構你要的分析過程

主要需要固化分析過程，是以需要定義自己的分析腳本格式

比如：

{
   
    "desc": "玩家等級分布",
    "host"