济南网站建设开发,app制作二维码,网站开发软件和工具ide和编辑器,从网站验证码谈用户体验下面聊聊Kafka的配置参数#xff0c;包括生产者的配置参数、Broker的配置参数、消费者的配置参数。 1、生产者配置参数 acks 该参数控制了生产者的消息发送确认机制#xff0c;用于指定分区中必须有多少个副本成功接收到消息后生产者才会认为这条消息写入是成功的#xff0c… 下面聊聊Kafka的配置参数包括生产者的配置参数、Broker的配置参数、消费者的配置参数。 1、生产者配置参数 acks 该参数控制了生产者的消息发送确认机制用于指定分区中必须有多少个副本成功接收到消息后生产者才会认为这条消息写入是成功的即生产者需要Leader副本确认请求完成之前接收的应答数。 该参数有3个值含义如下 buffer.memory Kafka生产者的Sender子线程在将消息批量发送到Kafka Broker端之前会把消息先缓存到内存中该参数决定了消息缓存的大小默认值为32M若生产者生产消息的速度大于将消息发送到Broker端的速度那么生产者将会被堵塞最终导致生产者抛出RecordTooLargeException异常 batch.size 该参数标识当Kafka客户端将多个消息发送到同一个分区的时候生产者为例减少客户端与Broker端的网络请求数会尝试先将消息批量打包一起进行统一发送有助于提升网络吞吐量其默认值为16KB。 compression.type 该参数指定给到Topic中数据的压缩类型共有4种压缩方式gzip、snappy、lz4、zstd也可以设置为uncompressd即不压缩。 client.id 该参数表示唯一的id字符串标识。 connection.max.idle.ms 该参数决定关闭生产者连接的时间阈值其默认值为9min。 linger.ms 该参数决定消息在生产者发送到Broker端之前在客户端延迟发送的时间。 max.block.ms 该参数用来控制send将消息堵塞多长时间其默认值为60000ms。 max.request.size 该参数表示生产者能发送消息的最大值其默认值为1MB。 retries、retry.backoff.ms 该参数表示通过内部的重试机制来执行恢复并部署之间将异常抛出如果重试次数达到设定的次数生产者才会放弃重试并抛出异常其默认值为0。 receive.buffer.bytes 该参数用来设置接收消息缓冲区大小其默认值为32KB。 send.buffer.bytes 该参数用来设置发送消息缓冲区的大小其默认值为128KB。 request.timeout.ms 该参数用来决定生产者等待请求响应的最大时间其默认值为30000ms。 reconnect.backoff.max.ms 该参数表示Kafka客户端重连的最大时间每次连接失败重连时间都会成指数级增加每次增加的时间会在20%随机浮动以避免连接风暴出现。 reconnect.backoff.ms 该参数表示Kafka客户端每次重连时候的间隔时间。 delivery.timeout.ms 该参数用于指定客户端等待发送成功或失败时客户端等待的时间上限。 partitioner.class 该参数表示进行分区操作的类其默认值为DefaultPartitioner。 transaction.timeout.ms 该参数生产者主动终止当前正在进行的操作之前Kafka等待操作更新的最大时间其默认值为1min。 transaction.id 该参数表示某个事务的id。 max.in.flight.requests.per.connection 该参数表示在消息备堵塞前每个客户端上发送的为应答请求的最大数量其默认值为5。 metadata.max.age.ms 该参数表示当超过这个时间间隔时系统就会触发更新元数据其默认值为5min。 metadata.max.idle.ms 该参数用来控制生产者获取Topic元数据的时间。
2、Borker配置参数
broker.id 该参数用来标识唯一的broker server若不设置或broker.id0则会自动计算。log.dir 该参数用来设置log数据存放的目录其默认值为/tmp/kafka-logs。log.dirs 该参数用来设置log数据存放的目录如/tmp/kafka-logs。另外可以用逗号隔开设置多个目录主要用来挂载到多个磁盘上如/tmp/kafka0、/tmp/kafka1、/tmp/kafka2。若没有设置该参数则使用log.dir配置替代。listeners 该参数为监听器配置。advertised.listeners 该参数用来配置Broker对外发布的监听器列表存放在zookeeper中客户端可以通过元数据信息拿到这个监听器列表对该Broker进行访问如果为空则默认会用listeners配置。zookeeper.connect 该参数用来已hostname:port形式指定zookeeper连接也可以用逗号形式指定多个zookeeper连接。auto.create.topics.enable 该参数用来配置是否可以自动创建Topic。
3、消费者配置参数
key.deserializer 该参数用来实现key的反序列化。value.deserializer 该参数用来实现value的反序列化。bootstrap.servers 该参数表示Kafka Broker集群的地址信息格式为ip1:port、ip2:port等不需要设定全部的集群地址设置两个或两个以上即可。group.id 该参数表示消费者组的id如果相同表示属于同一个消费者组必须指定否则报异常。fetch.min.bytes 该参数用来配置消费者在一次拉取请求中能从Kafka Broker中拉取的最小数据量即调用poll方式时每次拉取的数据量其默认值为1字节。fetch.max.bytes 与fetch.min.bytes参数对应用来配置消费者在一次拉取请求中从Kafka Broker端中拉取的最大数据量其默认值为50MB。fetch.max.wait.ms 该参数于fetch.min.bytes有关若Kafka Broker端返回给消费者的数据量小于fetch.min.bytes值消费者就需要等待指定数据量满足参数的配置大小。max.poll.records 该参数用来配置消费者在一次拉取请求中拉取的最大消息数其默认值为500条若消息数都比较小可以适当调大该参数提升消费速度。max.partition.fetch.bytes 该参数用来配置从每个分区返回给消费者的最大数据量其默认值为1MB。connections.max.idle.ms 该参数用来指定在多长时间之后关闭闲置的消费者连接其默认值为9min。heartbeat.inerval.ms 该参数用来设置于消费者协调器之间的心跳间隔时间。send.buffer.bytes 该参数用来设置发送消息缓冲区的大小其默认值为128KB若设置为-1则使用系统默认值。receive.buffer.bytes 该参数用来设置接收消息缓冲区的大小其默认值为64KB若设置为-1则使用系统默认值。request.timeout.ms 该参数用来配置消费者等待请求响应的最长时间其默认值为30s。reconnect.backoff.ms 该参数用来配置消费者每次尝试重新连接指定Broker之前应该等待的时间其默认值为50s。auto.offset.reset 该参数有3个值含义如下 enable.auto.commit 该参数用来配置是否开启自动提交消费位移的功能默认为开启。auto.commit.inerval.ms 该参数只有当enable.auto.commit为true时才生效即开启自动提交偏移量功能时自动提交消费位移的时间间隔其默认值为5s。partition.assignment.strategy 该参数用来配置消费者的分区分配策略支持轮询、范围策略。inerceptor.class 该参数用来配置消费者的拦截器必须实现ConsumerInterceptor接口使用消费者拦截器可以允许用户截取消费者接收的消息从而改变消息内容。默认是没有设置拦截器。exclude.internal.topics 该参数用来配置Kafka中的内部主题是否可以向消费者公开其默认值为true。在Kafka中有两个内部主题_consumer_offsets、_transaction_state。
期待大家来指导~
