hive语句执行时报Java heap space解决办法

在脚本里加上参数设置

set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

这句话的意思是执行Map前进行小文件合并

内存不足分为三种情况来看

1.发生在map阶段

一般存在MapJoin

通过设置参数set hive.auto.convert.join = false转成reduce端的Common Join

2.发生在shuffle阶段

由于map的输出较大，但shuffle阶段选择的是拷贝map输出到内存导致。

降低单个shuffle能够消耗的内存占reduce所有内存的比例（set mapreduce.reduce.shuffle.memory.limit.percent=0.10），使得shuffle阶段拷贝map输出时选择落磁盘

3.发生在reduce阶段

单个reduce处理数据量过大

通过设置参数mapred.reduce.tasks 或mapreduce.job.reduces 修改reduce个数分散压力

如果存在数据倾斜的情况，单纯修改reduce个数没有用