Flume-taildirSource模式應用

應該場景為監控上傳的日志檔案目錄，日志檔案分為sdk和api兩種Json格式檔案，Flume采用斷點續傳，對兩個類型檔案目錄進行監控，對類型進行區分，并過濾Json格式不合法的日志，最後發送到Kafka對應類型的Topic。

平台：CDH6.2，Flume1.9

CDH -> Flume -> 執行個體 -> 選擇節點 -> 配置

配置

maven項目

pom依賴

LogETLInterceptor

過濾Json格式不合法的日志類 。

LogTypeInterceptor

日志類型區分的類。

工具類

打包，上傳

沒有依賴的jar即可，Flume的lib目錄下有依賴包。

重新開機Flume。