思考（八十）：日志数据分析

日志数据分析

在生产实践中，日志数据分析通常做的都不是很好。

有以下几个原因：

• 日志数据不合理，渠道多样，造成分析困难
• 没有固化分析过程，导致重复分析。即不懂的需要维护、迭代

本文给出一个日志数据分析方法，还解决以上问题

数据埋点

分析基于数据，因此首要解决日志数据落地问题

目前大区大服的框架下，基本上会有非常多的服务节点

因此，目前常见的会把数据打到 elasticsearch 中

比如前置 kibana ，来查询日志

做数据分析，自然可以基于 elasticsearch ，把它看做数据库，提取有用的数据

分析过程说明

1. 从 es 中抓取数据，到 csv
2. 基于 csv ，按 SQL 方式构建你要的分析过程

主要需要固化分析过程，因此需要定义自己的分析脚本格式

比如：

{
   
    "desc": "玩家等级分布",
    "host"