pyspark.sql.utils.AnalysisException: u‘java.lang.IllegalArgumentException: Wrong FS

問題

用pyspark寫了程式，但是在跑的過程中報

pyspark.sql.utils.AnalysisException: u'java.lang.IllegalArgumentException: Wrong FS: hdfs://

現有代碼的配置資訊

spark = SparkSession.builder.appName(spark_application_name). \
    config('spark.port.maxRetries', 500). \
    config('spark.driver.maxResultSize', '64g'). \
    config('hive.exec.dynamici.partition', True). \
    config('hive.exec.dynamic.partition.mode', 'nonstrict'). \
    enableHiveSupport().getOrCreate()

           

是因為在執行過程中找不到hdfs的服務，是以需要在config中添加fs.defaultFS的資訊

修改後代碼

spark = SparkSession.builder.appName(spark_application_name). \
    config('spark.port.maxRetries', 500). \
    config('spark.driver.maxResultSize', '64g'). \
    config('hive.exec.dynamici.partition', True). \
    config('hive.exec.dynamic.partition.mode', 'nonstrict'). \
    config('fs.defaultFS', 'hdfs://namenode_hostname'). \
    enableHiveSupport().getOrCreate()