天天看点

Kafka队列消息和发布订阅消息

1、kafka自动创建主题

在配置文件里指定好kafka的topic之后,调用send方法会自动帮我们创建好topic,只是创建的topic默认是1个副本和1个分区的,这一般不能满足我们的要求,所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以下参数:

之后,kafka自动帮我们创建的主题都会包含3个副本和3个分区。

2、查看主题列表

注:172.16.0.2:2181/kafka配置可以在server.properties查看

3、删除主题

默认情况下Kafka是不允许删除主题,如果想要删除主题,在kafka的${KAFKA}/config/server.properties里增加以下参数:

delete.topic.enable=true

cd /opt/kafka_2.12-2.5.0/bin/

./kafka-topics.sh --delete --topic mldn-topic --zookeeper 172.16.0.2:2181/kafka

一般而言,对于kafka操作建议在第一次启动之前就做好所有得操作

4、一直强调Kafka是一个发布订阅的消息组件,但是发现即便程序中启动了多个消费端,但是最终也只能够有一个消费者可以接收到发送者发送的内容,因为此时设置的分区只有一个,那么一个只能够表示一对一关系。于是下面创建一个新的主题,该主题设置三个分区:

假如启动4个消费者,启动1个生产者,此时所设置的消费者数量为3个,同时这三个消费者处于同一个组之中(props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-1") ),所以变为了三个消费者处理一个生产者的操作情况,所有消费者轮流进行处理。

5、如果此时你所设置的消费者的组ID不同,那么该消息将变为主题订阅消息。所有的消费者将取得各自的全部内容。组不同不同消费者接收到的消息数据是相同的。

结论:如果现在设置的消费组相同,则表示属于队列消息,队列消息可以容纳的消费者最大为分区数量;

如果设置的消费组不同,则表示主题订阅消息,那么订阅者可以有无数多个。