1 IDEA 打包
示例代碼參考AMPCamp2015之SparkSQL,開發環境使用idea。首先需要将程式打包成jar
選擇project structure --》artifacts ,由于叢集已經有了運作依賴的jar包,打包時可以将這些jar包排除出去,以減小打包後的jar包的大小。
點選ok,然後選擇build --》build artifacts,SparkSQLTest --》build,然後在工程目錄的子目錄下會生成j對應的jar檔案:
2 送出任務
首先啟動叢集,然後用戶端來到spark-submit目錄:/app/hadoop/spark131/bin
spark-submit通過指令行的方式送出任務,具體參數資訊如下參考:
送出示例如下:
在指令行輸入如下指令: ./spark-submit --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3 /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar
在web監控界面可以看到:
3 運作結果
結果如下: