type:source的類型,必須是netcat。
bind:要監聽的(本機的)主機名或者ip。此監聽不是過濾發送方。一台電腦不是說隻有一個IP。有多網卡的電腦,對應多個IP。
port:綁定的本地的端口。
type:avrosource的類型,必須是avro。
type:source的類型:必須是exec。
command:要執行指令。
type:source 的類型:必須是spooldir
spoolDir:監聽的檔案夾 【提前建立目錄】
fileSuffix:上傳完畢後檔案的重命名字尾,預設為.COMPLETED
deletePolicy:上傳後的檔案的删除政策never和immediate,預設為never。
fileHeader:是否要加上該檔案的絕對路徑在header裡,預設是false。
basenameHeader:是否要加上該檔案的名稱在header裡,預設是false。

type:sink的類型 必須是hdfs。
hdfs.path:hdfs的上傳路徑。
hdfs.filePrefix:hdfs檔案的字首。預設是:FlumeData
hdfs.rollInterval:間隔多久産生新檔案,預設是:30(秒) 0表示不以時間間隔為準。
hdfs.rollSize:檔案到達多大再産生一個新檔案,預設是:1024(bytes)0表示不以檔案大小為準。
hdfs.rollCount:event達到多大再産生一個新檔案,預設是:10(個)0表示不以event數目為準。
hdfs.batchSize:每次往hdfs裡送出多少個event,預設為100
hdfs.fileType:hdfs檔案的格式主要包括:SequenceFile, DataStream ,CompressedStream,如果使用了CompressedStream就要設定壓縮方式。
hdfs.codeC:壓縮方式:gzip, bzip2, lzo, lzop, snappy
注:%{host}可以使用header的key。以及%Y%m%d來表示時間,但關于時間的表示需要在header裡有timestamp這個key。
要在控制台顯示在運作agent的時候加入:-Dflume.root.logger=INFO,console 。
type:sink的類型:必須是 logger。
maxBytesToLog:列印body的最長的位元組數 預設為16
type:sink的類型:必須是 avro。
hostname:指定發送資料的主機名或者ip
port:指定發送資料的端口
type:sink的類型:必須是 file_roll。
sink.directory:存儲檔案的目錄【提前建立目錄】
batchSize:一次發送多少個event。預設為100
sink.rollInterval:多久産生一個新檔案,預設為30s。機關是s。0為不産生新檔案。【即使沒有資料也會産生檔案】
Type channel的類型:必須為memory
capacity:channel中的最大event數目
transactionCapacity:channel中允許事務的最大event數目
Type channel的類型:必須為 file
checkpointDir :檢查點的資料存儲目錄【提前建立目錄】
dataDirs :資料的存儲目錄【提前建立目錄】
Type channel的類型:必須為SPILLABLEMEMORY
memoryCapacity:記憶體的容量event數
overflowCapacity:資料存到檔案的event閥值數
checkpointDir:檢查點的資料存儲目錄
dataDirs:資料的存儲目錄
type:攔截器的類型,必須為timestamp
preserveExisting:如果此攔截器增加的key已經存在,如果這個值設定為true則保持原來的值,否則覆寫原來的值。預設為false
type:攔截器的類型,必須為host
useIP:如果設定為true則使用ip位址,否則使用主機名,預設為true
hostHeader:使用的header的key名字,預設為host
type:avrosource的類型,必須是static。
preserveExisting:如果此攔截器增加的key已經存在,如果這個值設定為true則保持原來的值,否則覆寫原來的值。預設為false
key:靜态攔截器添加的key的名字
value:靜态攔截器添加的key對應的value值
selector.type 預設為replicating
selector.header:選擇作為判斷的key
selector.default:預設的channel配置
selector.mapping.*:比對到的channel的配置
負載均衡
a1.sinkgroups=g1
a1.sinkgroups.g1.sinks=k1 k2
a1.sinkgroups.g1.processor.type=load_balance
a1.sinkgroups.g1.processor.backoff=true
a1.sinkgroups.g1.processor.selector=round_robin
a1.sinkgroups.g1.processor.selector.maxTimeOut=30000
backoff:開啟後,故障的節點會列入黑名單,過一定時間再次發送,如果還失敗,則等待是指數增長;直到達到最大的時間。
如果不開啟,故障的節點每次都會被重試。
selector.maxTimeOut:最大的黑名單時間(機關為毫秒)。
故障轉移
a1.sinkgroups.g1.processor.type=failover
a1.sinkgroups.g1.processor.priority.k1=10
a1.sinkgroups.g1.processor.priority.k2=5
a1.sinkgroups.g1.processor.maxpenalty=10000
#maxpenalty 對于故障的節點最大的黑名單時間 (in millis 毫秒)
本文轉自SummerChill部落格園部落格,原文連結:http://www.cnblogs.com/DreamDrive/p/7635161.html,如需轉載請自行聯系原作者