详解Kafka生产者Producer配置

简介:

基本配置


metadata.broker.list:broker服务器集群列表,格式为 host1:port1, host2:port2 ...


producer.type:消息发送类型同步还是异步,默认为同步


compression.codec:消息的压缩格式,默认为none不压缩,也可以为gzip, snappy, lz4


serializer.class:消息加密格式,默认为kafka.serializer.DefaultEncoder


compressed.topics:主题的压缩格式,可以为'gzip', 'snappy', lz4


异步生产者配置


queue.buffering.max.ms:生产者异步缓存数据的最大时间,单位毫秒


queue.buffering.max.messages:生产者异步缓存消息的最大容量


queue.enqueue.timeout.ms:队列超时事件。0,如果队列满了就放弃;-ve,如果队列满了就会永远阻塞;+ve,如果队列满了会阻塞一段时间。


batch.num.messages:生产者可以批量处理的消息数


Java客户端消费者常用配置


bootstrap.servers:broker服务器集群列表,格式为 host1:port1, host2:port2 


key.serializer:定义序列化的接口,建议为org.apache.kafka.common.serialization.StringSerializer


value.serializer:实现序列化接口的类,建议为org.apache.kafka.common.serialization.StringSerializer


acks:配置可以设定发送消息后是否需要Broker端返回确认


    0:不需要进行确认,速度最快。存在丢失数据的风险。


    1:仅需要Leader进行确认,不需要ISR进行确认。是一种效率和安全折中的方式。


    all:需要ISR中所有的Replica给予接收确认,速度最慢,安全性最高,但是由于ISR可能会缩小到仅包含一个Replica,所以设置参数为all并不能一定避免数据丢失。


buffer.memory:生产者的缓村容量,如果记录发送的比传输到服务器的速度快,要么是生产者阻塞,要么是配置的block.on.buffer.full缓存区满了。默认大小为32M


compression.type:生产者生成的所有数据压缩格式,默认不压缩,还可以为gzip, snappy, or lz4


linger.ms:Producer默认会把两次发送时间间隔内收集到的所有Requests进行一次聚合然后再发送,以此提高吞吐量,而linger.ms则更进一步,这个参数为每次发送增加一些delay,以此来聚合更多的Message。





本文转自 genuinecx 51CTO博客,原文链接:http://blog.51cto.com/favccxx/1767882,如需转载请自行联系原作者
目录
相关文章
|
1月前
|
消息中间件 Java Kafka
关于kafka消费者超时配置
关于kafka消费者超时配置
68 2
|
2月前
|
消息中间件 安全 Kafka
一文搞懂Kafka中的listeners配置策略
1. listeners中的plaintext controller external是什么意思? 2. Kraft模式下controller和broker有何区别? 3. 集群节点之间同步什么数据,通过哪个端口,是否可以自定义端口? 4. 客户端通过哪个端口连接到kafka,通过9092连接的是什么,broker还是controller? 5. 为controller配置了单独的端口有什么用? 6. control.plane.listener.name与controller.listener.names有何区别?
156 2
|
3月前
|
消息中间件 缓存 Kafka
探究Kafka原理-5.Kafka设计原理和生产者原理解析(下)
探究Kafka原理-5.Kafka设计原理和生产者原理解析
39 0
|
3月前
|
消息中间件 存储 负载均衡
探究Kafka原理-5.Kafka设计原理和生产者原理解析(上)
探究Kafka原理-5.Kafka设计原理和生产者原理解析
63 0
|
1月前
|
消息中间件 存储 负载均衡
Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】
【2月更文挑战第21天】Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】
152 4
|
1月前
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
47 1
|
13天前
|
消息中间件 存储 运维
Kafka重要配置参数全面解读(重要)
Kafka重要配置参数全面解读(重要)
37 0
|
2月前
|
消息中间件 缓存 Java
Kafka Consumer java api 配置
Kafka Consumer java api 配置
|
2月前
|
消息中间件 安全 Kafka
2024年了,如何更好的搭建Kafka集群?
我们基于Kraft模式和Docker Compose同时采用最新版Kafka v3.6.1来搭建集群。
428 2
2024年了,如何更好的搭建Kafka集群?
|
3月前
|
消息中间件 存储 数据可视化
kafka高可用集群搭建
kafka高可用集群搭建
43 0