【kafka】Kafka的基本介绍

目录

介绍

kafka的好处

分布式的发布与订阅系统

kafka的主要应用场景

kafka的架构

kafka架构内部细节剖析

kafka主要组件

kafka的log存储机制

kafka消息不丢失制

• 介绍

kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等

kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息

Producer：数据发送者（生产者）

Consumer： 数据接收者（消费者）

broker：Kafka节点（存数据）

官网：http://kafka.apache.org/

• kafka的好处

可靠性：分布式的，分区，复制和容错。

可扩展性：kafka消息传递系统轻松缩放，无需停机。

耐用性：kafka使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。

性能：kafka对于发布和定于消息都具有高吞吐量。即使存储了许多TB的消息，他也爆出稳定的性能。

kafka非常快：保证零停机和零数据丢失。

• 分布式的发布与订阅系统

apache kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使能够将消息从一个端点传递到另一个端点，kafka适合离线和在线消息消费。kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。kafka构建在zookeeper同步服务之上。它与apache和spark非常好的集成，应用于实时流式数据分析。

• kafka的主要应用场景

指标分析：

kafka通常用于操作监控数据。这设计聚合来自分布式应用程序的统计信息，以产生操作的数据集中反馈

日志聚合解决方法：

kafka可用于跨组织从多个服务器收集日志，并使他们以标准的合适提供给多个服务器。

流式处理：

流式处理框架（spark，storm，flink）中主题中读取数据，对齐进行处理，并将处理后的数据写入新的主题，供用户和应用程序使用，kafka的强耐久性在流处理的上下文中也非常的有用。数据实时打入kafka，实时计算框架（spark，storm，flink）实时在kafka中消费数据

• kafka的架构

生产者（Producer）API：

允许应用程序发布记录流至一个或者多个kafka的主题（topics）。

消费者（Consumer）API：

允许应用程序订阅一个或者多个主题，并处理这些主题接收到的记录流。

StreamsAPI：

允许应用程序充当流处理器（stream processor），从一个或者多个主题获取输入流，并生产一个输出流到一个或者多个主题，能够有效的变化输入流为输出流。

ConnectAPI：

允许构建和运行可重用的生产者或者消费者，能够把kafka主题连接到现有的应用程序或数据系统。例如：一个连接到关系数据库的连接器可能会获取每个表的变化。

• kafka架构内部细节剖析

kafka支持消息持久化，消费端为拉模型，主动来拉取数据，消费状态和订阅关系有客户端负责维护，消息消费完后，不会立即删除，会保留历史消息。因此支持多订阅时，消息只会存储一份就可以了。

Broker：kafka集群中包含一个或者多个服务实例，这种服务实例被称为Broker

Topic：每条发布到kafka集群的消息都必须有一个类别，这个类别就叫做Topic

Partition：Partition是一个物理上的概念，每个Topic包含一个或者多个Partition

Producer：负责发布消息到kafka的Broker中。

Consumer：消息消费者,向kafka的broker中读取消息的客户端

Consumer Group：每一个Consumer属于一个特定的Consumer Group（可以为每个Consumer指定 groupName）

segment：一个partition当中存在多个segment文件段，每个segment分为两部分，.log文件和.index文件，其中.index文件是索引文件，主要用于快速查询.log文件当中数据的偏移量位置

.log：存放数据文件

.index：存放.log文件的索引数据

• kafka主要组件

生产者（producer）：

producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面去

主题（topic）：

1.kafka将消息以topic为单位进行归类

2.topic特指kafka处理的消息源（feeds of messages）的不同分类

3.topic是一种分类或者发布的一些列记录的名义上的名字。kafka主题始终是支持多用户订阅的；也就是说，一 个主题可以有零个，一个或者多个消费者订阅写入的数据

4.在kafka集群中，可以有无数的主题

5.生产者和消费者消费数据一般以主题为单位。更细粒度可以到分区级别

分区（partition）：

kafka当中，topic是消息的归类，一个topic可以有多个分区，每个分区保存部分topic的数据，所有的partition当中的数据全部合并起来，就是一个topic当中的所有的数据，

一个broker服务下，是否可以创建多，broker数与分区数没有关系； 在kafka中，每一个分区会有一个编号：编号从0开始

每一个分区的数据是有序的，多个分区之间是无序的，Partition数量决定了每个Consumer group中并发消费者的最大数量

副本（Replicas）：

1.副本的数量小于等于broker的数量

2.每个分区都有各自的主副本和从副本，主副本叫做leader，从副本叫做follower

3.follower通过拉的方式从leader同步数据

4.消费者和生产者都是从leader读写数据，不与follower交互，副本只用于提高读取数据和写入数据时的可靠性

5.lsr表示当前可用的副本

segment：

一个partition当中由多个segment文件组成，每个segment文件包含两部分，一个是.log文件，另外一个是.index文件，其中.log文件包含了我们发送的数据存储，.index文件记录的是我们.log文件的数据索引值，以便于我们加快数据的查询速度

索引文件（.index）与数据文件（.log）的关系：

既然它们是一一对应成对出现，必然有关系。索引文件中元数据指向对应数据文件中message的物理偏移地址，第一数字表示第几条数据，第二个数字表示数据的偏移量

比如索引文件中3,497代表：数据文件中的第三个message,它的偏移地址为497。再来看数据文件中，Message 368772表示：在全局partiton中是第368772个message。

segment index file采取稀疏索引存储方式，不存储所有数据的索引，只存储一部分，它减少索引文件大小，通过map可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

kafka当中的partition的offset：

任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量）

offset是一个long类型数字，它唯一标识了一条消息，消费者通过（offset，partition，topic）跟踪记录

kafka分区与消费组的关系：

1.消费组由一个或者多个消费者组成，同一个组中的消费者对于同一条消息只消费一次。

2.某一个主题下的分区数，对于消费组来说，应该小于等于该主题下的分区数。

3.任何时候分区中的一条数据只能被一个消费组中的一个消费任务读取

4.分区数越多，同一时间可以有越多的消费者来进行消费，消费数据的速度就会越快，提高消费的性能

Partition = 消费任务的并发度=刚刚好，每个任务读取一个partition数据

Partition > 消费任务的并发度=有部分消费任务读取多个分区的数据

Partition < 消费任务的并发度=有部分消费任务空闲

消费者（consumer）：

consumer是kafka当中的消费者，主要用于消费kafka当中的数据，任何一个消费者都必定需要属于某一个消费组当中，任意时刻，一个分区当中的数据，只能被kafka当中同一个消费组下面的一个线程消费

• kafka的log存储机制

kafka中log日志目录及组成

kafka在我们指定的log.dir目录下，会创建一些文件夹；名字是【主题名字-分区名】所组成的文件夹。 在【主题名字-分区名】的目录下，会有两个文件存在，如下所示：

在目录下的文件，会根据log日志的大小进行切分，.log文件的大小为1G的时候，就会进行切分文件；在kafka的设计中，将offset值会作为文件名的一部分，后面的segment的名字是使用上一个segment文件中最后一条数据的全局的编号。

精确找到数据的步骤：

1.使用折半/二分查找，先确定数据所在的segment.

2.使用确定的segment内的index文件找到数据具体的位置

log CleanUp（删除或更新）:

Kafka：用于临时存储一部分数据。会周期性删除比较老的数据。启到缓冲的作用。

HDFS：用于数据的永久存储

1.时间：默认存储168小时（一周）

2.数据的大小：默认 -1 （不删除），可以自行设置。

3.合并机制：相同key的数据，只保留最新的，最大版本数据。起到节省存储空间的作用

• kafka消息不丢失制

1.生产者通过ack 机制确保数据不丢失。

2.kafka集群 通过数据副本保证数据不丢失。

3.消费者通过维护数据的offset 保证数据不丢失。