背景
Kafka 作為使用最廣泛的消息隊列之一,被非常普遍的應用于日志場景。通過機器上的采集用戶端采集日志或者使用Producer直接寫入,再供下遊的資料處理系統如Spark,Flink等進行消費,是非常常見的大資料架構。
阿裡雲日志服務底層存儲是一個類似Kafka的資料系統,作為一個消息隊列可以100%覆寫Kafka的功能。在此之上,作為阿裡雲上被廣泛使用的日志分析産品,日志服務還提供了支援大規模資料集的實時查詢分析能力,非常豐富的資料可視化報表,實時告警等功能。對于已經采集到Kafka中的資料,支援實時同步到日志服務中進行分析。

如何配置
在開始之前需要先開通日志服務,并且建立好用于儲存資料的Project 和Logstore。關于Project 和Logstore的介紹可以參考官方文檔 :
https://help.aliyun.com/document_detail/28961.html。
1 功能入口
2 選擇Project與Logstore
在開始同步之前,需要提前建立好用于存儲資料的Project 和Logstore,如果需要對資料進行查詢還需要提前對資料配置好索引。
3 輸入Kafka 配置
4 排程方式
日志服務通過Kafka 消費組流式消費資料,根據資料量自動水準擴充消費者個數。背景根據執行間隔定時排程同步任務,當同步任務從Kafka中超過5分鐘沒有消費到資料時當次任務結束,等待下一次排程。
查詢日志
日志從Kafka 同步到日志服務後,可以在控制台查詢分析。
更多資料
日志服務官方文檔:
https://help.aliyun.com/product/28958.html?spm=a2c4g.11186623.6.540.4af0bda9n7QANH日志服務查詢文法簡介:
https://help.aliyun.com/document_detail/43772.html