天天看點

【硬剛Kafka】KAFKA基礎(十五):Flume對接Kafka

本文是對《【硬剛大資料之學習路線篇】從零到大資料專家的學習指南(全面更新版)》的Kafka部分補充。

1)配置flume

2) 啟動kafka消費者

3) 進入flume根目錄下,啟動flume

4) 向 /opt/module/data/flume.log裡追加資料,檢視kafka消費者消費情況

0)需求:  将flume采集的資料按照不同的類型輸入到不同的topic中

          将日志資料中帶有atguigu的,輸入到Kafka的first主題中,

          将日志資料中帶有shangguigu的,輸入到Kafka的second主題中,

  其他的資料輸入到Kafka的third主題中

1) 編寫Flume的Interceptor

2)将寫好的interceptor打包上傳到Flume安裝目錄的lib目錄下

3)配置flume

4) 啟動kafka消費者

5) 進入flume根目錄下,啟動flume

6) 向6666端口寫資料,檢視kafka消費者消費情況

繼續閱讀