在通過:
spark-2.4.3-bin-hadoop2.7/bin/spark-submit --class ml.dmlc.xgboost4j.scala.example.spark.SparkMLlibPipeline --jars scala_workSpace/test/xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar scala_workSpace/test/xgboost4j-example_2.11-1.0.0.jar /tmp/rd/lp/iris.data scala_workSpace/test/nativeModel /tmp/rd/lp/pipelineModel
送出任務,進行xgboost訓練中會出現這個錯誤,有可能是因為jar沖突。(我就是,調試了兩天)
因為spark jars中有xgboost4j-0.72.jar和xgboost4j-spark-0.72.jar, 而我在spark-submit時的xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar中含有xgboost4j-0.90和xgboost4j-spark-0.90造成兩個包中的XGBoostClassifer沖突。
