天天看点

ELK系列~log4-nxlog-Fluentd-elasticsearch写json数据需要注意的几点

log4需要注意的,编码与时间戳格式

nxlog需要注意output里对内容处理

fluentd需要注意类型和format的规定

1 log4产生日志,格式必须是utf-8,ansi编码对中文解析时有问题,主要表示在fluentd到elasticsearch写数据时

2 log4日志里,时间戳@timestamp,需要是UTC时间,格式为yyyy-MM-ddTHH:mm:ss.fff+0800

3 nxlog日志收集时,由于log4产生的数据都是\r符号,所以在nxlog.conf里需要对output进行过滤,当然\n,使它变成两条消息,这样主体消息里就没有\r了,json解析时就不会有问题

4 fluentd的配置里,类型需要是tcp,格式format需要是none

5 最后就是成功写入elasticsearch,通过kibana就可以查看日志了

ELK系列~log4-nxlog-Fluentd-elasticsearch写json数据需要注意的几点

请把学习作为一种习惯!

请把积累和总结变成一种学习的方式!

感谢各位的阅读!