天天看點

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

1 IDEA 打包

示例代碼參考AMPCamp2015之SparkSQL,開發環境使用idea。首先需要将程式打包成jar

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

選擇project structure --》artifacts ,由于叢集已經有了運作依賴的jar包,打包時可以将這些jar包排除出去,以減小打包後的jar包的大小。

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

點選ok,然後選擇build --》build artifacts,SparkSQLTest --》build,然後在工程目錄的子目錄下會生成j對應的jar檔案:

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

2 送出任務

首先啟動叢集,然後用戶端來到spark-submit目錄:/app/hadoop/spark131/bin

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

spark-submit通過指令行的方式送出任務,具體參數資訊如下參考:

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

送出示例如下:

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

在指令行輸入如下指令: ./spark-submit  --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3  /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

在web監控界面可以看到:

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

3 運作結果

結果如下:

Spark-submit送出任務到叢集1 IDEA 打包2 送出任務3 運作結果

繼續閱讀