天天看點

從Kafka實時同步資料到日志服務指南

背景

Kafka 作為使用最廣泛的消息隊列之一,被非常普遍的應用于日志場景。通過機器上的采集用戶端采集日志或者使用Producer直接寫入,再供下遊的資料處理系統如Spark,Flink等進行消費,是非常常見的大資料架構。

阿裡雲日志服務底層存儲是一個類似Kafka的資料系統,作為一個消息隊列可以100%覆寫Kafka的功能。在此之上,作為阿裡雲上被廣泛使用的日志分析産品,日志服務還提供了支援大規模資料集的實時查詢分析能力,非常豐富的資料可視化報表,實時告警等功能。對于已經采集到Kafka中的資料,支援實時同步到日志服務中進行分析。

從Kafka實時同步資料到日志服務指南

如何配置

在開始之前需要先開通日志服務,并且建立好用于儲存資料的Project 和Logstore。關于Project 和Logstore的介紹可以參考官方文檔 :

https://help.aliyun.com/document_detail/28961.html

1 功能入口

從Kafka實時同步資料到日志服務指南

2 選擇Project與Logstore

在開始同步之前,需要提前建立好用于存儲資料的Project 和Logstore,如果需要對資料進行查詢還需要提前對資料配置好索引。

從Kafka實時同步資料到日志服務指南

3 輸入Kafka 配置

從Kafka實時同步資料到日志服務指南

4 排程方式

日志服務通過Kafka 消費組流式消費資料,根據資料量自動水準擴充消費者個數。背景根據執行間隔定時排程同步任務,當同步任務從Kafka中超過5分鐘沒有消費到資料時當次任務結束,等待下一次排程。

從Kafka實時同步資料到日志服務指南

查詢日志

日志從Kafka 同步到日志服務後,可以在控制台查詢分析。

從Kafka實時同步資料到日志服務指南

更多資料

日志服務官方文檔:

https://help.aliyun.com/product/28958.html?spm=a2c4g.11186623.6.540.4af0bda9n7QANH

日志服務查詢文法簡介:

https://help.aliyun.com/document_detail/43772.html

繼續閱讀