日志資料預處理與投遞

背景介紹

什麼是日志服務？

日志服務是針對日志類資料的一站式服,像Log、Metric這類資料我們可以提供大規模、低成本、實時的平台化服務。它的應用場景非常多，像一些監控、分析、診斷都可以通過日志服務去實作，無需開發就能快捷完成日志資料采集、消費、投遞以及查詢分析等功能，提升運維、營運效率，建立DT時代海量日志處理能力。

什麼是資料加工？

資料加工是日志服務推出的一項功能，是面向日志進行實時的處理，實時性高且功能豐富。資料加工目前提供了兩百多種DSL算子用作資料處理，我們可以在資料加工中根據需求做資料過濾、轉換、複制、富化、分裂等操作。

什麼是資料投遞？

資料投遞是指将日志服務采集的資料投遞至OSS、ADB、MaxCompute等其他阿裡雲産品中，便于您長期存儲資料或聯合其它系統消費資料。

資料加工與投遞

在我們做資料投遞的時候，可能需要先對資料做一定的加工處理，像資料字段的保留、删除、改名，打包等操作，加工完成之後然後我們再投遞到相應的服務中。

場景執行個體

這裡有一個場景，在資料投遞之前我們需要對左邊的原始日志做一些加工處理，右邊的日志是我們投遞需要的日志，圖中包含了三個加工場景。

場景使用字段操作函數解決示範

場景1：字段重命名操作

場景2：字段删除操作

場景3：字段打包操作

字段操作函數介紹

FAQ