flume裡關于hdfs的sink配置:
屬性 | 描述 |
---|---|
type | hdfs |
path | hdfs的路徑,需要包含檔案系統辨別,比如:hdfs://flume/events/dt=%y-%m-%d |
filePrefix | 預設值:FlumeData,寫入hdfs的檔案名字首 |
fileSuffix | 寫入 hdfs 的檔案名字尾,比如:.lzo .log等 |
inUsePrefix | 臨時檔案的檔案名字首 |
inUseSuffix | 預設值:.tmp,臨時檔案的檔案名字尾 |
rollInterval | 預設值:30:hdfs sink 間隔多長将臨時檔案滾動成最終目标檔案,機關:秒.如果設定成0,則表示不根據時間來滾動檔案 |
rollSize | 預設值:1024:當臨時檔案達到多少(機關:bytes)時,滾動成目标檔案;如果設定成0,則表示不根據臨時檔案大小來滾動檔案 |
rollCount | 預設值:10:當 events 資料達到該數量時候,将臨時檔案滾動成目标檔案;如果設定成0,則表示不根據events資料來滾動檔案 |
idleTimeout | 預設值:0:當目前被打開的臨時檔案在該參數指定的時間(秒)内,沒有任何資料寫入,則将該臨時檔案關閉并重命名成目标檔案 |
batchSize | 預設值:100:每個批次重新整理到 HDFS 上的 events 數量 |
codeC | 檔案壓縮格式,包括:gzip, bzip2, lzo, lzop, snappy |
fileType | 預設值:SequenceFile,檔案格式,包括:SequenceFile, DataStream,CompressedStream |
maxOpenFiles | 預設值:5000:最大允許打開的HDFS檔案數,當打開的檔案數達到該值,最早打開的檔案将會被關閉 |
minBlockReplicas | 預設值:HDFS副本數,寫入 HDFS 檔案塊的最小副本數 |
writeFormat | 寫 sequence 檔案的格式。包含:Text, Writable(預設) |
callTimeout | 預設值:10000,執行HDFS操作的逾時時間(機關:毫秒) |
threadsPoolSize | 預設值:10,hdfs sink 啟動的操作HDFS的線程數 |
rollTimerPoolSize | 預設值:1,hdfs sink 啟動的根據時間滾動檔案的線程數 |
kerberosPrincipal | HDFS安全認證kerberos配置 |
kerberosKeytab | HDFS安全認證kerberos配置 |
proxyUser | 代理使用者 |
round | 預設值:false,是否啟用時間上的”舍棄” |
roundValue | 預設值:1,時間上進行“舍棄”的值 |
roundUnit | 預設值:seconds,時間上進行”舍棄”的機關,包含:second,minute,hour |