天天看点

kafka_架构模型Kafka架构模型

Kafka架构模型

kafka_架构模型Kafka架构模型

Kafka消费速度快:

  1. 页缓存:找个磁盘当内存;
  2. kafka采用顺序读写,比固态磁盘快
kafka_架构模型Kafka架构模型
  1. 如果消费速度太慢,更改topic的分区个数,就会有很多线程来消费。

flume与kafka的整合

flume监控文件夹,有新文件就搜集起来到kafka队列中

  1. source:spoolDir Source
  2. channel:memory channel
  3. sink:数据到kafka里面

副本默认2

注:仅作笔记。