Flume 常見配置zo

1. Source NetCat Source：綁定的端口（tcp、udp），将流經端口的每一個文本行資料作為Event輸入； type：source的類型，必須是netcat。 bind：要監聽的(本機的)主機名或者ip。此監聽不是過濾發送方。一台電腦不是說隻有一個IP。有多網卡的電腦，對應多個IP。 port：綁定的本地的端口。

Avro Source：監聽一個avro服務端口，采集Avro資料序列化後的資料； type：avrosource的類型，必須是avro。 bind：要監聽的(本機的)主機名或者ip。此監聽不是過濾發送方。一台電腦不是說隻有一個IP。有多網卡的電腦，對應多個IP。 port：綁定的本地的端口。

Exec Source：于Unix的command在标準輸出上采集資料； type:    source的類型：必須是exec。 command：要執行指令。tail -F ***.log

2. sink HDFS Sink：将資料傳輸到hdfs叢集中。 type：sink的類型 必須是hdfs。 hdfs.path：hdfs的上傳路徑。 hdfs.filePrefix：hdfs檔案的字首。預設是:FlumeData hdfs.rollInterval:    間隔多久産生新檔案，預設是:30（秒） 0表示不以時間間隔為準。 hdfs.rollSize：檔案到達多大再産生一個新檔案，預設是:1024（bytes）0表示不以檔案大小為準。 hdfs.rollCount：event達到多大再産生一個新檔案，預設是:10（個）0表示不以event數目為準。 hdfs.batchSize：每次往hdfs裡送出多少個event，預設為100 hdfs.fileType：hdfs檔案的格式 hdfs.codeC：壓縮方式：gzip, bzip2, lzo, lzop, snappy

Logger Sink将資料作為日志處理（根據flume中的設定的日志方式來顯示） 要在控制台顯示在運作agent的時候加入：-Dflume.root.logger=INFO,console 。Flume的目錄的 Logs/flume.log。 type：sink的類型：必須是 logger。 maxBytesToLog：列印body的最長的位元組數 預設為16

Avro Sink：資料被轉換成Avro Event，然後發送到指定的服務端口上。 type：sink的類型：必須是 avro。 hostname：指定發送資料的目的地主機名或者ip port：指定發送資料的端口

3. channel Memory Channel使用記憶體作為資料的存儲。 channel的類型：必須為memory capacity：channel中的最大event數目 transactionCapacity：channel中允許事務的最大event數目

4. Interceptor Timestamp Interceptor 時間戳攔截器 在header裡加入key為timestamp，value為目前時間。 type：攔截器的類型，必須為timestamp preserveExisting：如果此攔截器增加的key已經存在，如果這個值設定為true則保持原來的值，否則覆寫原來的值。預設為false

Host Interceptor 主機名或者ip攔截器，在header裡加入ip或者主機名 type：攔截器的類型，必須為host preserveExisting：如果此攔截器增加的key已經存在，如果這個值設定為true則保持原來的值，否則覆寫原來的值。預設為false useIP：如果設定為true則使用ip位址，否則使用主機名，預設為true hostHeader：使用的header的key名字，預設為host

Static Interceptor 靜态攔截器，是在header裡加入固定的key和value。 type：avrosource的類型，必須是static。 preserveExisting: 如果此攔截器增加的key已經存在，如果這個值設定為true則保持原來的值，否則覆寫原來的值。預設為false key: 靜态攔截器添加的key的名字 value: 靜态攔截器添加的key對應的value值

5. Channel Selector Multiplexing Channel Selector 根據header的key的值配置設定channel selector.type  預設為replicating selector.header：選擇作為判斷的key selector.default：預設的channel配置 selector.mapping.*：比對到的channel的配置