flume hdfs sink 檔案滾動政策

一般使用

hdfs sink

都會采用

滾動生成檔案

的方式，

hdfs sink

滾動生成檔案的政策有：

基于時間
基于檔案大小
基于hdfs檔案副本數（一般要規避這種情況）
基于event數量
基于檔案閑置時間
           

基于時間

配置項：

hdfs.rollInterval

預設值：30秒

說明：如果設定為0表示禁用這個政策

基于檔案大小和event數量政策

配置項：

檔案大小政策：

hdfs.rollSize

event數量政策：

hdfs.rollCount

預設值：

檔案大小政策：1024位元組,也就是

1KB

event數量政策：

10

說明：如果設定為

表示

禁用

這些政策

參考

Flume HDFS Sink常用配置深度解讀 - 簡書

https://www.jianshu.com/p/4f43780c82e9