Flume學習總結

收集日志
           

flume架構:

![在這裡插入圖檔描述](https://img-blog.csdnimg.cn/20200419120844847.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwODYzMzYw,size_16,color_FFFFFF,t_70)
source用于接收資料
channel用于緩存資料
sink用于輸出資料到目的地
           

event:

每條資料就是一個event
           

agent:

source+channel+sink共同組成agent
           

多級流動\扇入\扇出

source:

spoolingDir:監聽一個目錄

avro:實作多級流動

sink:

hdfs:将資料存入hdfs中
avro:實作多級流動
           

channel:

memory:存入記憶體中
file:存入磁盤
           

selector:選擇器

1.複制模式:source将資料交給每個channel

2.多路複用模式:根據指定規則将資料交給channel

Interceptors:

通過攔截source中的資料,進行過濾\修改等操作
           

1.Timestamp:在資料的頭中添加時間戳,常用

2.Search and Replace:通過某種定義的規則替換資料

3.Regex Filtering:根據正則删除資料