spark-6-spark streaming对接kafka

【注意：spark伪分布式安装需要至少2个core才能保证输出sparkstreaming处理的kafka信息】

【注意：spark单机版需要至少local[2]才能保证】

(1)python3.6Anaconda安装

(2)查看spark的版本

进入/usr/local/spark/jars查看jar包确认版本【spark2.4.5】

(3)查看kafka版本

进入/usr/local/kafka/libs查看jar包确认版本【kafka2.2.0】

1 软件及相关依赖

【https://mvnrepository.com/artifact/org.apache.spark】

【https://repo1.maven.org/maven2/org/apache/spark/下载相关依赖】

1.1 jar包版本

(1)spark-streaming-kafka的jar包对应的spark版本

spark-streaming-kafka-assembly_2.10/

spark-streaming-kafka-assembly_2.11/

spark-streaming-kafka_2.10/

spark-streaming-kafka_2.11/