CC00040.kafka——|Hadoop&kafka.V25|——|kafka.v25|主题管理参数说明|
时间：2023-01-01 09:00:00
一、主题管理参数说明:使用:kafka-topics.sh脚本：
| 选项 | 说明 |
| -config |
指定创建或修改主题的配置信息。支持以下配置项目： cleanup.policy compression.type delete.retention.ms file.delete.delay.ms flush.messages flush.ms follower.replication.throttled.replicas index.interval.bytes leader.replication.throttled.replicas max.message.bytes message.format.version message.timestamp.difference.max.ms message.timestamp.type min.cleanable.dirty.ratio min.compaction.lag.ms min.insync.replicas preallocate retention.bytes retention.ms segment.bytes segment.index.bytes segment.jitter.ms segment.ms unclean.leader.election.enable |
| -create | 创造新的主题 |
| -delete | 删除一个主题 |
| -delete-config |
删除现有主题的主题配置条目。 这些项目都在--config 给出的配置条目。 |
| -alter | 主题的分区数量、副本分配和/或配置条目 |
| -disable-rack-aware | 列出给定主题的细节 |
| -force | 禁用副本分配的机架感知 |
| -help | 抑制控制台提示信息 |
| -if-exists | 若指定选项， 在修改或删除主题时，只有主题存在才能执行。 |
| -if-not-exists | 在创建主题时，如果指定了选项，则只有 只有当主题不存在时，命令才能执行。 |
| -list | 列出所有可用的主题 |
| -partitions |
要创建或修改主题的分区数 |
|
--replica-assignment
:broker_id_for_part1_replica2
,broker_id_for_part2_replica1
:broker_id_for_part2_replica2 , ...> |
手动指定创建或修改主题时partition-tobroker分配关系。 |
|
--replication-factor |
要创建的主题分区副本数。
1意味着只有一个副本，即Leader副本。
|
| --topic |
创建、修改或描述主题名称。
除了创建，修改和描述也可以在这里使用正则表达式。
|
| -topics-with-overrides |
if set when describing topics,
only show topicsthat have overridden configs
|
| -unavalable-partitions |
if set when describing topics,
only showpartitions whose leader is not available
|
| -under-replicated-partitions |
if set when describing topics,
only show underreplicated partitions
|
| -zookpper |
必要参数：连接zookeeper的字符串，
逗号分隔的多个host:port列表。多个URL可以故障转移。
|
二、主题中可以使用的参数定义：
| 属性 | 默认值 | 服务器默认属性 | 说明 |
| deanup.policy | delete | log.deanup.policy | 要么是”delete“要么是”compact“； 这个字符串指明了针对旧日志部分的利用方式； 默认方式("delete")将会丢弃旧的部分 当他们的回收时间或者尺寸限制到达时。 ”compact“将会进行日志压缩。 |
| compresslon.type | none | producer用于压缩数据的压缩类型。默认是无压缩。 正确的选项值是none、gzip、snappy。 压缩最好用于批量处理， 批量处理消息越多，压缩性能越好。 |
|
| delete.retention.ms |
86400000
(24hours)
|
log.cleaner.delete.retention.ms | 对于压缩日志保留的最长时间， 也是客户端消费消息的最长时间， 通log.retention.minutes的区别在于一个控制未压缩数据，一个控制压缩后的数据。 此项配置可以在topic创建时的置顶参数覆盖 |
| flush.ms | None | log.flush.interval.ms | 此配置用来置顶强制进行fsync日志到磁盘的时间间隔； 例如，如果设置为1000，那么每1000ms就需要进行一次fsync。一般不建议使用这个选项 |
| flush.messages | None | log.flush.interval.messages | 此项配置指定时间间隔：强制进行fsync日志。 例如，如果这个选项设置为1， 那么每条消息之后都需要进行fsync，如果设置为5， 则每5条消息就需要进行一次fsync。 一般来说，建议你不要设置这个值。 此参数的设置,需要在"数据可靠性"与"性能"之间做必要的权衡.如果此值过大,将会导致每次"fsync"的时间较长(IO阻塞),如果此值过小,将会导致"fsync"的次数较多,这也意味着整体的client请求有一定的延迟.物理server故障,将会导致没有fsync的消息丢失. |
| index.interval.bytes | 4096 | log.index.interval.bytes | 默认设置保证了我们每4096个字节就对消息添加一个索引，更多的索引使得阅读的消息更加靠近，但是索引规模却会由此增大；一般不需要改变这个选项 |
| max.message.bytes | 1000000 | max.message.bytes | kafka追加消息的最大尺寸。 注意如果你增大这个尺寸， 你也必须增大你consumer的fetch 尺寸， 这样consumer才能fetch到这些最大尺寸的消息。 |
| min.cleanable.dirty.ratio | 0.5 | min.cleanable.dirty.ratio | 此项配置控制log压缩器试图进行清除日志的频率。 默认情况下，将避免清除压缩率超过50%的日志。 这个比率避免了最大的空间浪费 |
| min.insync.replicas | 1 | min.insync.replicas | 当producer设置request.required.acks为-1时， min.insync.replicas指定replicas的最小数目 (必须确认每一个repica的写数据都是成功的)， 如果这个数目没有达到，producer会产生异常 |
| retention.bytes | None | log.retention.bytes | 如果使用“delete”的retention 策略， 这项配置就是指在删除日志之前， 日志所能达到的最大尺寸。 默认情况下，没有尺寸限制而只有时间限制 |
| retention.ms | 7 days | log.retention.minutes | 如果使用“delete”的retention策略， 这项配置就是指删除日志前日志保存的时间。 |
| segment.bytes | 1GB | log.segment.bytes | kafka中log日志是分成一块块存储的， 此配置是指log日志划分成块的大小 |
| segment.index.bytes | 10MB | log.index.size.max.bytes | 此配置是有关offsets和文件位置之间映射的索引文件的大小；一般不需要修改这个配置 |
| segment.jitter.ms | 0 | log.roll.jitter.{ms,hours} | The maximum jitter to subtract from logRollTimeMillis. |
| segment.ms | 7 days | log.roll.hours | 即使log的分块文件没有达到需要删除、压缩的大小， 一旦log的时间达到这个上限， 就会强制新建一个log分块文件 |
| unclean.leader.election.enable | true | 指明了是否能够使不在ISR中replicas设置用来作为leader |
