天天看點

scala-sparkML學習筆記:Execption in thread "main" java.lang.AbstractMethodError: ml.dmlc.xgboost4j.scala

在通過:

spark-2.4.3-bin-hadoop2.7/bin/spark-submit  --class ml.dmlc.xgboost4j.scala.example.spark.SparkMLlibPipeline --jars scala_workSpace/test/xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar scala_workSpace/test/xgboost4j-example_2.11-1.0.0.jar /tmp/rd/lp/iris.data scala_workSpace/test/nativeModel /tmp/rd/lp/pipelineModel

送出任務,進行xgboost訓練中會出現這個錯誤,有可能是因為jar沖突。(我就是,調試了兩天)

因為spark jars中有xgboost4j-0.72.jar和xgboost4j-spark-0.72.jar, 而我在spark-submit時的xgboost4j-example_2.11-1.0.0-jar-with-dependencies.jar中含有xgboost4j-0.90和xgboost4j-spark-0.90造成兩個包中的XGBoostClassifer沖突。

scala-sparkML學習筆記:Execption in thread "main" java.lang.AbstractMethodError: ml.dmlc.xgboost4j.scala

繼續閱讀