寫好spark程式送出cdh叢集運作

spark2-submit --master yarn --deploy-mode cluster --class cn.chuangxin.scala.WordCount /root/original-SparkTestMe-1.0-SNAPSHOT.jar hdfs://xxx:8020/wc hdfs://xxx:8020/wcout0616

spark2-submit --conf spark.yarn.maxAppAttempts=1 --master yarn --deploy-mode cluster --class etl_cx_company_sparkRDD_yarn.cx_company_combine /opt/original-cx_company_combine-1.0-SNAPSHOT.jar --driver-memory 2g --executor-memory 2g --executor-cores 2

spark重試次數

失敗重試次數，預設重試4次，前期任務調試階段，重試次數最好設定為1，可以較快得到執行結果；後期業務上線，也使用預設參數

--conf spark.yarn.maxAppAttempts=1