天天看點

flume hdfs sink 配置

flume裡關于hdfs的sink配置:

屬性 描述
type hdfs
path hdfs的路徑,需要包含檔案系統辨別,比如:hdfs://flume/events/dt=%y-%m-%d
filePrefix 預設值:FlumeData,寫入hdfs的檔案名字首
fileSuffix 寫入 hdfs 的檔案名字尾,比如:.lzo .log等
inUsePrefix 臨時檔案的檔案名字首
inUseSuffix 預設值:.tmp,臨時檔案的檔案名字尾
rollInterval 預設值:30:hdfs sink 間隔多長将臨時檔案滾動成最終目标檔案,機關:秒.如果設定成0,則表示不根據時間來滾動檔案
rollSize 預設值:1024:當臨時檔案達到多少(機關:bytes)時,滾動成目标檔案;如果設定成0,則表示不根據臨時檔案大小來滾動檔案
rollCount 預設值:10:當 events 資料達到該數量時候,将臨時檔案滾動成目标檔案;如果設定成0,則表示不根據events資料來滾動檔案
idleTimeout 預設值:0:當目前被打開的臨時檔案在該參數指定的時間(秒)内,沒有任何資料寫入,則将該臨時檔案關閉并重命名成目标檔案
batchSize 預設值:100:每個批次重新整理到 HDFS 上的 events 數量
codeC 檔案壓縮格式,包括:gzip, bzip2, lzo, lzop, snappy
fileType 預設值:SequenceFile,檔案格式,包括:SequenceFile, DataStream,CompressedStream
maxOpenFiles 預設值:5000:最大允許打開的HDFS檔案數,當打開的檔案數達到該值,最早打開的檔案将會被關閉
minBlockReplicas 預設值:HDFS副本數,寫入 HDFS 檔案塊的最小副本數
writeFormat 寫 sequence 檔案的格式。包含:Text, Writable(預設)
callTimeout 預設值:10000,執行HDFS操作的逾時時間(機關:毫秒)
threadsPoolSize 預設值:10,hdfs sink 啟動的操作HDFS的線程數
rollTimerPoolSize 預設值:1,hdfs sink 啟動的根據時間滾動檔案的線程數
kerberosPrincipal HDFS安全認證kerberos配置
kerberosKeytab HDFS安全認證kerberos配置
proxyUser 代理使用者
round 預設值:false,是否啟用時間上的”舍棄”
roundValue 預設值:1,時間上進行“舍棄”的值
roundUnit 預設值:seconds,時間上進行”舍棄”的機關,包含:second,minute,hour