作者:周志湖
spark streaming與kafka版的wordcount示例(一)
spark streaming與kafka版的wordcount示例(二)
啟動kafka叢集
向kafka叢集發送消息
編寫如下程式
配置運作參數:

具體如下:
sparkmaster:2181,zookeeper監聽位址
test-consumer-group, consumer-group的名稱,必須和$kafka_home/config/consumer.properties中的group.id的配置内容一緻
kafkatopictest,topic名稱
1,線程數
運作kafkawordcount 後,在producer中輸入下列内容
得到結果如下:
前面的例子中,producer是通過kafka的腳本生成的,本例中将給出通過編寫程式生成的producer
kafkawordcountproducer 運作參數設定如下:
sparkmaster:9092,broker-list
kafkatopictest,top名稱
5表示每秒發多少條消息
8表示每條消息中有幾個單詞
先kafkawordcountproducer,然後再運作kafkawordcount ,得到的計算結果如下: