天天看點

spark 與 Hadoop 融合後 Neither spark.yarn.jars nor spark.yarn.archive is set

每次送出​​Spark​​任務到yarn的時候,總會出現uploading resource(打包spark jars并上傳)到hdfs上。

惡劣情況下,會在這裡卡住很久。

spark 與 Hadoop 融合後 Neither spark.yarn.jars nor spark.yarn.archive is set

解決:

在hdfs上建立目錄:

hdfs dfs -mkdir   /spark_jars

上傳spark的jars(spark1.6 隻需要上傳spark-assembly-1.6.0-SNAPSHOT-hadoop2.6.0.jar)

hdfs dfs -put /opt/spark/jars/*    /spark_jars

在spark的conf的spark-default.conf

添加配置 :

spark.yarn.jars=hdfs://master:9000/spark_jars/*

#spark.yarn.jars=/opt/spark-2.1.1-bin-hadoop2.7/jars/*

spark 與 Hadoop 融合後 Neither spark.yarn.jars nor spark.yarn.archive is set

繼續閱讀