天天看点

浅谈Spark几种不同的任务提交相关脚本(以Spark 1.5.0为例)

spark-shell

spark-submit

spark-sql

spark-class

总结

spark-shell脚本文件内容如下:

spark-sql脚本内容如下:

spark-submit脚本内容如下:

spark-class脚本内容如下:

通过上述脚本的源码可以看到 spark-shell、spark-sql实现方式都是通过调用spark-submit脚本来实现的,而spark-submit又是通过spark-class脚本来实现的,spark-class脚本最终执行org.apache.spark.launcher.main,作为整个spark程序的主入口