天天看點

Spark修煉之道(進階篇)——Spark入門到精通:第十六節 Spark Streaming與Kafka

作者:周志湖

spark streaming與kafka版的wordcount示例(一)

spark streaming與kafka版的wordcount示例(二)

啟動kafka叢集

向kafka叢集發送消息

編寫如下程式

配置運作參數:

Spark修煉之道(進階篇)——Spark入門到精通:第十六節 Spark Streaming與Kafka

具體如下:

sparkmaster:2181,zookeeper監聽位址

test-consumer-group, consumer-group的名稱,必須和$kafka_home/config/consumer.properties中的group.id的配置内容一緻

kafkatopictest,topic名稱

1,線程數

運作kafkawordcount 後,在producer中輸入下列内容

Spark修煉之道(進階篇)——Spark入門到精通:第十六節 Spark Streaming與Kafka

得到結果如下:

Spark修煉之道(進階篇)——Spark入門到精通:第十六節 Spark Streaming與Kafka

前面的例子中,producer是通過kafka的腳本生成的,本例中将給出通過編寫程式生成的producer

kafkawordcountproducer 運作參數設定如下:

sparkmaster:9092,broker-list

kafkatopictest,top名稱

5表示每秒發多少條消息

8表示每條消息中有幾個單詞

先kafkawordcountproducer,然後再運作kafkawordcount ,得到的計算結果如下:

Spark修煉之道(進階篇)——Spark入門到精通:第十六節 Spark Streaming與Kafka

繼續閱讀