报错Exception in thread “main” java.lang.StackOverflowError
如下:
原因:栈内存溢出
解决方案:
修改spark相关配置:
- 进入spark conf目录
[[email protected] opt]# cd /opt/soft/spark234/conf/
- 拷贝配置文件spark-defaults.conf.template并添加配置:
[[email protected] conf]# cp spark-defaults.conf.template spark-defaults.conf
# 文末插入
spark.driver.extraJavaOptions="-xsS30M"
- 重启spark,再次提交运行,运行成功!( •̀ ω •́ )✧