天天看点

使用数据加工进行logstore日志流转

数据加工简介

数据加工是阿里云SLS推出的一项Serverless的功能,主要解决日志行实时处理的场景,目前提供了200+的DSL算子。 详细的加工介绍请参考

https://help.aliyun.com/document_detail/125384.html
使用数据加工进行logstore日志流转

Logstore日志流转常见的场景

使用数据加工进行logstore日志流转

日志流转案例 - logstore日志字段过滤复制

案例

A部门有一份敏感日志,由于业务需要, B部门需要访问A部门的日志中的部分字段。为了安全起见,A部门可以使用数据加工实现Logstore对拷, 并过滤掉敏感字段,并且使用RAM授权的方式,给B部门授权

解决方案

使用数据加工 一对一拷贝的功能,并且使用DSL语句进行一定字段的过滤

使用数据加工进行logstore日志流转

加工语句范例

e_keep_fields("filed1","field2",regex=False)           

日志流转案例 - 多种格式揉杂的logstore,日志拆分

服务A有一份日志,应用程序打的日志格式并不统一。

当有关键词xx的时候,具备格式 x

当有关键词yy的时候,具备格式 y

由于格式差异较大,冗杂在一个logstore里不利于搜索查询; 比如最后需要投递到oss数据湖进行进一步查询分析

使用数据加工一对多的分发能力可以解决以上问题

使用数据加工进行logstore日志流转

e_if(e_match("http_code", "500"), e_output(name="logstore1"))
e_if(e_match("http_code", "200"), e_output(name="logstore2"))
e_drop()           

日志流转案例 - 跨Region复制

公司的业务在各个Region都有部署,查询logstore的时候,需要到不同Project下进行查询,给开发运维带来不便。

使用数据加工将logstore 跨Region写出到中心化的logstore

使用数据加工跨Region传输的能力,进行多对一的logstore复制

使用数据加工进行logstore日志流转

加工语句直接为空,配置时设定好目标logstore即可

小结

使用数据加工对logstore进行数据流转,具备以下几点能力(可根据业务场景进行任意组合)

  1. 支持流转时数据处理(转化、过滤、富化等,200+DSL函数)
  2. 支持一对一、一对多、多对一进行流转
  3. 支持同一个账号、跨账号的场景
  4. 支持同Region、跨Region的场景
  5. 支持一次性 数据服务, 也支持流式持续复制

参考

  1. sls数据加工 http://help.aliyun.com/document_detail/125384.html