【kafka運維】ConfigCommand指令詳解(2)

ConfigCommand

Config相關操作; 動态配置可以覆寫預設的靜态配置;

1.查詢配置

Topic配置查詢

展示關于Topic的動靜态配置

1.查詢單個Topic配置(隻列舉動态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server xxxxx:9092 --topic test_create_topic

或者

sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics --entity-name test_create_topic

2.查詢所有Topic配置(包括内部Topic)(隻列舉動态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics

3.查詢Topic的詳細配置(動态+靜态)

隻需要加上一個參數

--all

其他配置/clients/users/brokers/broker-loggers 的查詢

同理 ；隻需要将

--entity-type

改成對應的類型就行了 (topics/clients/users/brokers/broker-loggers)

查詢kafka版本資訊

sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version

所有可配置的動态配置 請看最後面的 附件 部分

2 增删改 配置

--alter

--alter

删除配置:

--delete-config

k1=v1,k2=v2

添加/修改配置:

--add-config

k1,k2

選擇類型:

--entity-type

(topics/clients/users/brokers/broker-

loggers)           

類型名稱:

--entity-name

Topic添加/修改動态配置

--add-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --add-config file.delete.delay.ms=222222,retention.ms=999999

Topic删除動态配置

--delete-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --delete-config file.delete.delay.ms,retention.ms

其他配置同理,隻需要類型改下

--entity-type

類型有: (topics/clients/users/brokers/broker- loggers)

哪些配置可以修改 請看最後面的附件：ConfigCommand 的一些可選配置

附件

ConfigCommand 的一些可選配置

Topic相關可選配置

key	value	示例
cleanup.policy	清理政策
compression.type	壓縮類型(通常建議在produce端控制)
delete.retention.ms	壓縮日志的保留時間
file.delete.delay.ms
flush.messages	持久化message限制
flush.ms	持久化頻率
follower.replication.throttled.replicas	flowwer副本限流 格式：分區号:副本follower号,分區号:副本follower号	0:1,1:1
index.interval.bytes
leader.replication.throttled.replicas	leader副本限流 格式：分區号:副本Leader号	0:0
max.compaction.lag.ms
max.message.bytes	最大的batch的message大小
message.downconversion.enable	message是否向下相容
message.format.version	message格式版本
message.timestamp.difference.max.ms
message.timestamp.type
min.cleanable.dirty.ratio
min.compaction.lag.ms
min.insync.replicas	最小的ISR
preallocate
retention.bytes	日志保留大小(通常按照時間限制)
retention.ms	日志保留時間
segment.bytes	segment的大小限制
segment.index.bytes
segment.jitter.ms
segment.ms	segment的切割時間
unclean.leader.election.enable	是否允許非同步副本選主

Broker相關可選配置

advertised.listeners
background.threads
follower.replication.throttled.rate
leader.replication.throttled.rate
listener.security.protocol.map
listeners
log.cleaner.backoff.ms
log.cleaner.dedupe.buffer.size
log.cleaner.delete.retention.ms
log.cleaner.io.buffer.load.factor
log.cleaner.io.buffer.size
log.cleaner.io.max.bytes.per.second
log.cleaner.max.compaction.lag.ms
log.cleaner.min.cleanable.ratio
log.cleaner.min.compaction.lag.ms
log.cleaner.threads
log.cleanup.policy
log.flush.interval.messages
log.flush.interval.ms
log.index.interval.bytes
log.index.size.max.bytes
log.message.downconversion.enable
log.message.timestamp.difference.max.ms
log.message.timestamp.type
log.preallocate
log.retention.bytes
log.retention.ms
log.roll.jitter.ms
log.roll.ms
log.segment.bytes
log.segment.delete.delay.ms
max.connections
max.connections.per.ip
max.connections.per.ip.overrides
message.max.bytes
metric.reporters
num.io.threads
num.network.threads
num.recovery.threads.per.data.dir
num.replica.fetchers
principal.builder.class
replica.alter.log.dirs.io.max.bytes.per.second
sasl.enabled.mechanisms
sasl.jaas.config
sasl.kerberos.kinit.cmd
sasl.kerberos.min.time.before.relogin
sasl.kerberos.principal.to.local.rules
sasl.kerberos.service.name
sasl.kerberos.ticket.renew.jitter
sasl.kerberos.ticket.renew.window.factor
sasl.login.refresh.buffer.seconds
sasl.login.refresh.min.period.seconds
sasl.login.refresh.window.factor
sasl.login.refresh.window.jitter
sasl.mechanism.inter.broker.protocol
ssl.cipher.suites
ssl.client.auth
ssl.enabled.protocols
ssl.endpoint.identification.algorithm
ssl.key.password
ssl.keymanager.algorithm
ssl.keystore.location
ssl.keystore.password
ssl.keystore.type
ssl.protocol
ssl.provider
ssl.secure.random.implementation
ssl.trustmanager.algorithm
ssl.truststore.location
ssl.truststore.password
ssl.truststore.type

Users相關可選配置

SCRAM-SHA-256
SCRAM-SHA-512
consumer_byte_rate	針對消費者user進行限流
producer_byte_rate	針對生産者進行限流
request_percentage	請求百分比

clients相關可選配置

關于作者：石臻臻的雜貨鋪, 專注于 Java領域、大資料領域 等知識分享, 内容多為 原理 、源碼、實戰 等等, 堅持輸出幹貨,所寫内容必定經過驗證,并深入源碼分析,保證内容準确性, 長期在CSDN、和公衆号【石臻臻的雜貨鋪】釋出原創文章,歡迎關注! 如果有相關技術領域問題,歡迎進群交流,各個領域都有專人解答,你所問的,都會得到回應!

歡迎Star和共建由滴滴開源的kafka的管理平台

滿足所有開發運維日常需求

滴滴開源Logi-KafkaManager 一站式Kafka監控與管控平台