天天看点

Eclipse远程调试Spark修改配置文件启动Spark Application在Eclipse设置远程调试的ip和port

修改${spark_home}/bin/spark-class文件:

Eclipse远程调试Spark修改配置文件启动Spark Application在Eclipse设置远程调试的ip和port

参数说明:

-xdebug 启用调试特性

-xrunjdwp 启用jdwp实现,包含若干子选项:

transport=dt_socket jpda front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。

address=8888 jvm在8888端口上监听请求,这个设定为一个不冲突的端口即可。

server=y

y表示启动的jvm是被调试者。如果为n,则表示启动的jvm是调试器。

suspend=y y表示启动的jvm会暂停等待,直到调试器连接上才继续执行。suspend=n,则jvm不会暂停等待。

用<code>eclipse</code>将项目<code>export</code>出<code>jar</code>包,传到集群上使用<code>spark-submit</code>提交<code>application</code>,可以看到在等待:

Eclipse远程调试Spark修改配置文件启动Spark Application在Eclipse设置远程调试的ip和port

注意,传到集群上的代码要和本地一样!

debug as

debug configurations

remote java application

配置ip和port

继续阅读