帮忙做ppt赚钱的网站,北京 设计网站,网站后台用esayui做,临沂定制网站建设公司Kafka 核心知识解析
一、Kafka 消息发送流程
Kafka 发送消息涉及两个线程#xff1a;main 线程和 sender 线程。在 main 线程中#xff0c;会创建一个双端队列 RecordAccumulator#xff0c;main 线程负责将消息发送给 RecordAccumulator#xff0c;而 sender 线程则从 R…Kafka 核心知识解析
一、Kafka 消息发送流程
Kafka 发送消息涉及两个线程main 线程和 sender 线程。在 main 线程中会创建一个双端队列 RecordAccumulatormain 线程负责将消息发送给 RecordAccumulator而 sender 线程则从 RecordAccumulator 中拉取消息并发送到 Kafka Broker。
二、Kafka 分区的目的
合理使用存储资源与负载均衡 分区会分布在不同 broker 上通过将海量数据分区存储在各个 broker可以实现负载均衡的效果以此达到合理使用存储资源的目的。提高并行度 生产者能够以分区为单位发送消息消费者也以分区为单位消费数据这样大大提高了并行度。
三、Kafka 消息的有序性保障
生产者端 最简单的方式是设置一个分区因为 Kafka 在同一个分区内传递消息是有序的。或者可以选择同步式发送模式不过这种模式效率较低。消费者端 可以设置单个消费者单个分区以此确保消息的有序性。
四、ISR、OSR、AR 概念
ISR 是 Kafka 集群中还存活的副本OSR 是在规定时间内没有做出响应被认为已经挂掉的副本AR 包含 ISR 和 OSR。
五、Kafka 消息丢失情况及应对
生产者端消息丢失 如果 acks 设置不当很可能导致消息丢失acks 有三种配置级别最高级别是 -1 或者 all在此级别下生产者会等待整个集群回应接收到消息才认为消息发送成功安全性更高。不过由于网络或服务状态问题也可能导致发送消息出现问题解决此问题可能会涉及到事务。消费者端消息丢失 这和偏移量有很大关系不合理的偏移量提交一般会导致消息丢失。
六、保证 Kafka 可靠性的方法
生产者端 考虑将 acks 参数调为 -1 或者 all设置调优重试机制启动幂等性保证同消息只持久化一次使用开启事务来提交生产者消息并使用同步提交方式send(record).get()。消费者端 可以选择手动控制偏移量的提交这样能避免依赖自动提交时因故障导致的错误偏移量。
七、Kafka 数据去重
Kafka 0.11 版本以后出现了幂等性和事务两个特性来保证数据去重。幂等性通过 PID、Partition、SeqNumber 判断消息是否重复重复的数据 broker 只会持久化一条。通过事务提交可以在事务完整提交前对消费者隐藏消息只有全部事务完整完成消费者才会消费消息类似于 Java、mysql 等的事务。
八、生产者提高吞吐量的方法
可以调大批次大小参数 batch.size、调整等待时间 linger.ms 参数、设置压缩格式 compression.type 参数压缩数据、调增缓冲区大小 RecordAccumulator。
九、Zookeeper 在 Kafka 集群中的作用
Zookeeper 相当于 Kafka 集群的一个代理Kafka 的每个 broker 会在 Zookeeper 中进行注册并保存一些元数据信息比如主题创建的分区副本等信息。Zookeeper 还会对 Kafka 集群进行 leader 的选举当某个 leader 出现故障Zookeeper 会根据选举机制选举新的 leader同时还能起到负载均衡的效果。总的来说Zookeeper 协助 Kafka 实现高可用。
十、Kafka 集群中的 Leader 选举机制
当一个分区的 leader 出现故障时集群会给分区选举新的 leader 以保证该分区的正常运行。选举会根据 Replicas 的顺序并对照 Isr 来跳过实际不存活的节点。
十一、Kafka 处理数据乱序问题的方法
Kafka 消息传递过程中每个分区的消息是有序的但存在多个分区时由于每个分区传递数据的顺序不同会导致数据乱序问题。解决数据乱序问题需要只设置一个分区并且开启幂等性acks 设置为 all 或者 -1。
十二、Kafka 中节点的服役和退役
服役 首先准备一台配置好环境的服务器然后写一个需要服役的主题的 json 文件并为之生成负载均衡计划将计划储存在 json 文件中使用 kafka - reassign - partitions.sh 命令执行计划最后查看主题详情确认是否服役成功。退役 和服役操作相仿重新生成执行计划并执行即可。
十三、Kafka 中 Leader 和 Follower 故障重启后的数据同步
Follower 挂了再启动 如果是 follower 挂了不影响其他的副本当 follower 再次启动时会根据它挂掉时的分区内最小的偏移量 offset 值的后一位从 leader 中同步。Leader 挂了 如果 leader 挂了此时需要重新选举 leader其他 follower 会从此时分区内偏移量最小的后一个位置重新从新的 leader 中同步数据。
十四、打破 Kafka 初始化时 Leader 选举规律的方法
这种情况一般很少出现大概率是因为某个任务量巨大而集群里服务器配置不同有的服务器性能比较低。此时需要手动设置副本存储计划指定 replicas 都在哪些节点里执行创建的计划。
