kafka spark Structured streaming整合後叢集報錯KafkaConsumer.subscribe(Ljava/util/Collection;)V

簡介

整個項目架構是在CDH中，，然後spark Structured streaming消費kafka。

spark 2.3版本

kafka0.10版本

<!-- spark sql kafka-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql-kafka-0-10_${scala.compat.version}</artifactId>
            <version>2.3</version>
        </dependency>
           

本來local本地模式測試已經沒有問題，但是部署到叢集上就報錯如下：

[[email protected] workspace]$ spark2-submit   --master  yarn --deploy-mode client --class  com.dtwave.cheetah.node.spark.structured.streaming.StructureStreamingExecutor  ./spark-structured-streaming-1.0.0-nbcb.jar  ./json2.json client

19/07/03 16:4