天天看点

Spark 启动Spark Shell环境出错

我安装的是spark 2.4.0版本,在启动Spark Shell环境出错,具体报错如下:

Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V
           

报错原因:

1. $SPARK_HOME/jars 路径下缺少: jline-2.14.6.jar

2. spark-env.sh环境变量缺少: export TERM=xterm-color

解决办法:

点击下面链接,找到并下载jline-2.14.6.jar,再把它上传到$SPARK_HOME/jars目录下面

jline/jline所有版本Jar文件及下载 -时代Java (nowjava.com)

使用vim编辑器打开spark-env.sh文件进行编辑(spark-env.sh在$SPARK_HOME/conf目录下面),在该文件的第一行添加以下配置信息:

export TERM=xterm-color

OK,再次启动Spark Shell,成功!!!

继续阅读