本文是對《【硬剛大資料之學習路線篇】從零到大資料專家的學習指南(全面更新版)》的Kafka部分補充。
1)配置flume
2) 啟動kafka消費者
3) 進入flume根目錄下,啟動flume
4) 向 /opt/module/data/flume.log裡追加資料,檢視kafka消費者消費情況
0)需求: 将flume采集的資料按照不同的類型輸入到不同的topic中
将日志資料中帶有atguigu的,輸入到Kafka的first主題中,
将日志資料中帶有shangguigu的,輸入到Kafka的second主題中,
其他的資料輸入到Kafka的third主題中
1) 編寫Flume的Interceptor
2)将寫好的interceptor打包上傳到Flume安裝目錄的lib目錄下
3)配置flume
4) 啟動kafka消費者
5) 進入flume根目錄下,啟動flume
6) 向6666端口寫資料,檢視kafka消費者消費情況