天天看點

圖解 Kafka,畫得太好了!

Kafka 是主流的消息流系統,其中的概念還是比較多的,下面通過圖示的方式來梳理一下 Kafka 的核心概念,以便在我們的頭腦中有一個清晰的認識。

基礎

Kafka 是一套流處理系統,可以讓後端服務輕松的互相溝通,是微服務架構中常用的元件。

圖解 Kafka,畫得太好了!

生産者消費者

生産者服務 Producer 向 Kafka 發送消息,消費者服務 Consumer 監聽 Kafka 接收消息。

圖解 Kafka,畫得太好了!

一個服務可以同時為生産者和消費者。

圖解 Kafka,畫得太好了!

Topics 主題

Topic 是生産者發送消息的目标位址,是消費者的監聽目标。

圖解 Kafka,畫得太好了!

一個服務可以監聽、發送多個 Topics。

圖解 Kafka,畫得太好了!

Kafka 中有一個【consumer-group(消費者組)】的概念。

這是一組服務,扮演一個消費者。

圖解 Kafka,畫得太好了!

如果是消費者組接收消息,Kafka 會把一條消息路由到組中的某一個服務。

圖解 Kafka,畫得太好了!

這樣有助于消息的負載均衡,也友善擴充消費者。

Topic 扮演一個消息的隊列。

首先,一條消息發送了。

圖解 Kafka,畫得太好了!

然後,這條消息被記錄和存儲在這個隊列中,不允許被修改。

圖解 Kafka,畫得太好了!

接下來,消息會被發送給此 Topic 的消費者。

但是,這條消息并不會被删除,會繼續保留在隊列中。

圖解 Kafka,畫得太好了!

繼續發送消息。

圖解 Kafka,畫得太好了!

像之前一樣,這條消息會發送給消費者、不允許被改動、一直呆在隊列中。

(消息在隊列中能呆多久,可以修改 Kafka 的配置)

圖解 Kafka,畫得太好了!
圖解 Kafka,畫得太好了!

Partitions 分區

上面 Topic 的描述中,把 Topic 看做了一個隊列,實際上,一個 Topic 是由多個隊列組成的,被稱為【Partition(分區)】。

這樣可以便于 Topic 的擴充。

圖解 Kafka,畫得太好了!

生産者發送消息的時候,這條消息會被路由到此 Topic 中的某一個 Partition。

圖解 Kafka,畫得太好了!

消費者監聽的是所有分區。

圖解 Kafka,畫得太好了!

生産者發送消息時,預設是面向 Topic 的,由 Topic 決定放在哪個 Partition,預設使用輪詢政策。

圖解 Kafka,畫得太好了!

也可以配置 Topic,讓同類型的消息都在同一個 Partition。

例如,處理使用者消息,可以讓某一個使用者所有消息都在一個 Partition。

例如,使用者1發送了3條消息:A、B、C,預設情況下,這3條消息是在不同的 Partition 中(如 P1、P2、P3)。

在配置之後,可以確定使用者1的所有消息都發到同一個分區中(如 P1)。

圖解 Kafka,畫得太好了!

這個功能有什麼用呢?

這是為了提供消息的【有序性】。

消息在不同的 Partition 是不能保證有序的,隻有一個 Partition 内的消息是有序的。

圖解 Kafka,畫得太好了!
圖解 Kafka,畫得太好了!

架構

Kafka 是叢集架構的,ZooKeeper是重要元件。

圖解 Kafka,畫得太好了!

ZooKeeper 管理者所有的 Topic 和 Partition。

Topic 和 Partition 存儲在 Node 實體節點中,ZooKeeper負責維護這些 Node。

圖解 Kafka,畫得太好了!

例如,有2個 Topic,各自有2個 Partition。

圖解 Kafka,畫得太好了!

這是邏輯上的形式,但在 Kafka 叢集中的實際存儲可能是這樣的:

圖解 Kafka,畫得太好了!

Topic A 的 Partition #1 有3份,分布在各個 Node 上。

這樣可以增加 Kafka 的可靠性和系統彈性。

3個 Partition #1 中,ZooKeeper 會指定一個 Leader,負責接收生産者發來的消息。

圖解 Kafka,畫得太好了!

其他2個 Partition #1 會作為 Follower,Leader 接收到的消息會複制給 Follower。

圖解 Kafka,畫得太好了!

這樣,每個 Partition 都含有了全量消息資料。

圖解 Kafka,畫得太好了!