kafka 詳細配置（broker）

以下是kafka  broker 詳細配置的參數、預設值、描述

參數  預設值 描述
broker.id   -1　 每一個boker都有一個唯一的id作為它們的名字。當該伺服器的IP位址發生改變時，broker.id沒有變化，則不會影響consumers的消息情況
port    9092    broker server服務端口
host.name   ""  broker的主機位址，若是設定了，那麼會綁定到這個位址上，若是沒有，會綁定到所有的接口上，并将其中之一發送到ZK
log.dirs    /tmp/kafka-logs kafka資料的存放位址，多個位址的話用逗号分割,多個目錄分布在不同磁盤上可以提高讀寫性能  /data/kafka-logs-1，/data/kafka-logs-2
message.max.bytes   1000012 表示消息體的最大大小，機關是位元組
num.network.threads 3   broker處理消息的最大線程數，一般情況下數量為cpu核數
num.io.threads  8   處理IO的線程數
log.flush.interval.messages Long.MaxValue   在資料被寫入到硬碟和消費者可用前最大累積的消息的數量
log.flush.interval.ms   Long.MaxValue   在資料被寫入到硬碟前的最大時間
log.flush.scheduler.interval.ms Long.MaxValue   檢查資料是否要寫入到硬碟的時間間隔。
log.retention.hours 168 (24*7)  控制一個log保留多長個小時
log.retention.bytes -1  控制log檔案最大尺寸
log.cleaner.enable  false   是否log cleaning
log.cleanup.policy  delete　 delete還是compat.
log.segment.bytes   1073741824  單一的log segment檔案大小
log.roll.hours  168 開始一個新的log檔案片段的最大時間
background.threads  10  背景線程式
num.partitions  1   預設分區數
socket.send.buffer.bytes    102400  socket SO_SNDBUFF參數
socket.receive.buffer.bytes 102400  socket SO_RCVBUFF參數
zookeeper.connect       指定zookeeper連接配接字元串， 格式如hostname:port/chroot。chroot是一個namespace
zookeeper.connection.timeout.ms 6000    指定用戶端連接配接zookeeper的最大逾時時間
zookeeper.session.timeout.ms　　  6000    連接配接zk的session逾時時間
zookeeper.sync.time.ms  2000    zk follower落後于zk leader的最長時間
high-level consumer的配置參數

參數  預設值 描述
groupid groupid 一個字元串用來訓示一組consumer所在的組
socket.timeout.ms   30000   socket逾時時間
socket.buffersize   64*1024 socket receive buffer
fetch.size  300 * 1024  控制在一個請求中擷取的消息的位元組數。 這個參數在0.8.x中由fetch.message.max.bytes,fetch.min.bytes取代
backoff.increment.ms    1000    這個參數避免在沒有新資料的情況下重複頻繁的拉資料。 如果拉到空資料，則多推後這個時間
queued.max.message.chunks   2   high level consumer内部緩存拉回來的消息到一個隊列中。 這個值控制這個隊列的大小
auto.commit.enable  true    如果true,consumer定期地往zookeeper寫入每個分區的offset
auto.commit.interval.ms 10000   往zookeeper上寫offset的頻率
auto.offset.reset   largest 如果offset出了傳回，則 smallest: 自動設定reset到最小的offset. largest : 自動設定offset到最大的offset. 其它值不允許，會抛出異常.
consumer.timeout.ms -1  預設-1,consumer在沒有新消息時無限期的block。如果設定一個正值， 一個逾時異常會抛出
rebalance.retries.max   4   rebalance時的最大嘗試次數
producer的配置參數

參數  預設值 描述
producer.type   sync    指定消息發送是同步還是異步。異步asyc成批發送用kafka.producer.AyncProducer， 同步sync用kafka.producer.SyncProducer
metadata.broker.list    boker list  使用這個參數傳入boker和分區的靜态資訊，如host1:port1,host2:port2, 這個可以是全部boker的一部分
compression.codec   NoCompressionCodec  消息壓縮，預設不壓縮
compressed.topics   null    在設定了壓縮的情況下，可以指定特定的topic壓縮，未指定則全部壓縮
message.send.max.retries    3   消息發送最大嘗試次數
retry.backoff.ms    300 每次嘗試增加的額外的間隔時間
topic.metadata.refresh.interval.ms  600000  
定期的擷取中繼資料的時間。當分區丢失，leader不可用時producer也會主動擷取中繼資料，如果為0，則每次發送完消息就擷取中繼資料，

不推薦。如果為負值，則隻有在失敗的情況下擷取中繼資料。

queue.buffering.max.ms  5000    在producer queue的緩存的資料最大時間，僅僅for asyc
queue.buffering.max.message 10000   producer 緩存的消息的最大數量，僅僅for asyc
queue.enqueue.timeout.ms    -1  0當queue滿時丢掉，負值是queue滿時block,正值是queue滿時block相應的時間，僅僅for asyc
batch.num.messages  200 一批消息的數量，僅僅for asyc
request.required.acks   0   0表示producer無需等待leader的确認，1代表需要leader确認寫入它的本地log并立即确認，-1代表所有的備份都完成後确認。 僅僅for sync
request.timeout.ms  10000   确認逾時時間