Java用戶端實作Kafka的生産者消費者模式

kafka的設計中依賴了zookeeper，zookeeper是為了解決分布式一緻性問題的工具，用作去中心化的叢集模式。

網上概念說的很多了，很全也很好，話不多說，直接上代碼。

一.導入依賴

之前看maven庫裡有兩種依賴kafka-clients和kafka_2.11，經過一番查詢才知道，kafka-clients比kafka_2.11依賴的jar少，對于消費者沒有低版本api與低版本api的區分，是以選擇了kafka-clients，另外Spring也有內建的，哈哈，又一次感覺到了Spring對于java開發的友善，真好（陸超臉）。

<dependency>
			<groupId>org.apache.kafka</groupId>
			<artifactId>kafka-clients</artifactId>
			<version>1.0.1</version>
		</dependency>
           

二.生産者

package com.example.kafkademo;


import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;

/**
 * Kafka生産者
 *
 * @author liucong
 */
public class KafkaProducerClient extends Thread {
    //設定final的生産者
    private final KafkaProducer kafkaProducer;
    //在構造函數中建立
    public KafkaProducerClient() {
        //配置檔案
        Properties properties = new Properties();
        //設定Kafka伺服器清單
        properties.put("bootstrap.servers", "localhost:9092");
        //設定确認
        properties.put("acks", "all");
        //設定retries
        properties.put("retries", 0);
        //以位元組為機關控制預設的批量大小
        properties.put("batch.size", 16384);
        //設定一定的延遲，以便批量發送
        properties.put("linger.ms", 1);
        //設定生産者将使用的總記憶體，不強制限制
        properties.put("buffer.memory", 2000000);
        //設定key的序列化類型
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        //設定value的序列化類型
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        //建立生産者
        this.kafkaProducer = new KafkaProducer<>(properties);
    }

    @Override
    public void run() {
        for (int i = 0; i < 10; i++) {
            //生産
            System.out.println("message " + " key = " + i + " value = " + i);
            kafkaProducer.send(new ProducerRecord<>("message","key = " + i, "value = " + i));
            try {
                sleep(10);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        //清記憶體
        kafkaProducer.flush();
        //關連接配接
        kafkaProducer.close();
    }
}
           

三.消費者

package com.example.kafkademo;


import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.util.Arrays;
import java.util.Properties;

/**
 * Kafka消費者
 *
 * @author liucong
 */
public class KafkaConsumerClient extends Thread{
    private final KafkaConsumer kafkaConsumer;
    public KafkaConsumerClient() {
        Properties properties = new Properties();
        // 設定Kafka服務清單
        properties.put("bootstrap.servers", "localhost:9092");
        //指定consumer所在的組
        properties.put("group.id", "test");
        // true指定consumer自動向zookeeper寫入每個分區的offset
        properties.put("enable.auto.commit", "true");
        // 往zookeeper上寫offset的頻率
        properties.put("auto.commit.interval.ms", "1000");
        // key的反序列化類型
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        // 設定value的反序列化類型
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        //建立KafkaConsumer
        this.kafkaConsumer = new KafkaConsumer<String, String>(properties);
    }

    @Override
    public void run() {
        //訂閱資料，可以指定多個topic
        kafkaConsumer.subscribe(Arrays.asList("message"));
        //擷取資料
        while (true) {
            ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("topic = %s,offset = %d, key = %s, value = %s%n",record.topic(), record.offset(), record.key(), record.value());
            }
        }
    }
}
           

四.測試

package com.example.kafkademo;

/**
 * Kafka測試類
 *
 * @author liucong
 */
public class KafkaTest {
    public static void main(String[] strings) {
        //一個生産者線程，一個消費者線程,跑起來。。。
        new KafkaProducerClient().start();
        new KafkaConsumerClient().start();
    }
}