大資料高頻面試題之Hive的小檔案合并

（1）在map執行前合并小檔案，減少map數：CombineHiveInputFormat具有對小檔案進行合并的功能（系統預設的格式）。HiveInputFormat沒有對小檔案合并功能。

set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

（2）在Map-Reduce的任務結束時合并小檔案的設定：

在map-only任務結束時合并小檔案，預設true

SET hive.merge.mapfiles = true;

在map-reduce任務結束時合并小檔案，預設false

SET hive.merge.mapredfiles = true;

合并檔案的大小，預設256M

SET hive.merge.size.per.task = 268435456;

當輸出檔案的平均大小小于該值時，啟動一個獨立的map-reduce任務進行檔案merge

SET hive.merge.smallfiles.avgsize = 16777216;