网站备案地区名,梯子代理网址,怎么自己做卡盟网站,网络项目一天赚500一、前言
我们在使用 Apache Kafka 生产和消费消息的时候#xff0c;肯定是希望能够将数据均匀地分配到所有服务器上。
比如很多公司使用 Kafka 收集应用服务器的日志数据#xff0c;这种数据都是很多的#xff0c;特别是对于那种大批量机器组成的集群环境#xff0c;每分…
一、前言
我们在使用 Apache Kafka 生产和消费消息的时候肯定是希望能够将数据均匀地分配到所有服务器上。
比如很多公司使用 Kafka 收集应用服务器的日志数据这种数据都是很多的特别是对于那种大批量机器组成的集群环境每分钟产生的日志量都能以 GB 数因此如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上就成为一个非常重要的问题。
二、为什么分区
如果你对 Kafka 分区Partition的概念还不熟悉可以先返回专栏【Kafka系列 01】Kafka 是什么 回顾一下。
Kafka 有主题Topic的概念它是承载真实数据的逻辑容器而在主题之下还分为若干个分区也就是说 Kafka 的消息组织方式实际上是三级结构主题 - 分区 - 消息。主题下的每条消息只会保存在某一个分区中而不会在多个分区中被保存多份。官网上的这张图非常清晰地展示了 Kafka 的三级结构如下所示 现在你可以先思考一下你觉得为什么 Kafka 要做这样的设计为什么使用分区的概念而不是直接使用多个主题呢
其实分区的作用就是提供负载均衡的能力或者说对数据进行分区的主要原因就是为了实现系统的高伸缩性Scalability。
不同的分区能够被放置到不同节点的机器上而数据的读写操作也都是针对分区这个粒度而进行的这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且我们还可以通过添加新的节点机器来增加整体系统的吞吐量。 注不同的分布式系统对分区的叫法也不尽相同。比如在 Kafka 中叫分区在 MongoDB 和 Elasticsearch 中就叫分片 Shard而在 HBase 中则叫 Region在 Cassandra 中又被称作 vnode。从表面看起来它们实现原理可能不尽相同但对底层分区Partitioning的整体思想却从未改变。 除了提供负载均衡这种最核心的功能之外利用分区也可以实现其他一些业务级别的需求比如实现业务级别的消息顺序的问题。
三、分区策略
所谓分区策略是决定生产者将消息发送到哪个分区的算法。Kafka 为我们提供了默认的分区策略同时它也支持你自定义分区策略。
如果要自定义分区策略你需要显式地配置生产者端的参数 partitioner.class。这个参数该怎么设定呢方法很简单在编写生产者程序时你可以编写一个具体的类实现org.apache.kafka.clients.producer.Partitioner 接口。这个接口也很简单只定义了两个方法partition() 和 close()通常你只需要实现最重要的 partition 方法。我们来看看这个方法的方法签名
int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster);
这里的 topic、key、keyBytes、value 和 valueBytes 都属于消息数据cluster 则是集群信息比如当前 Kafka 集群共有多少主题、多少 Broker 等。Kafka 给你这么多信息就是希望让你能够充分地利用这些信息对消息进行分区计算出它要被发送到哪个分区中。只要你自己的实现类定义好了 partition 方法同时设置 partitioner.class 参数为你自己实现类的 Full Qualified Name那么生产者程序就会按照你的代码逻辑对消息进行分区。虽说可以有无数种分区的可能但比较常见的分区策略也就那么几种下面我来详细介绍一下。
3.1 轮询策略
也称 Round-robin 策略即顺序分配。比如一个主题下有 3 个分区那么第一条消息被发送到分区 0第二条被发送到分区 1第三条被发送到分区 2以此类推。当生产第 4 条消息时又会重新开始即将其分配到分区 0就像下面这张图展示的那样。 这就是所谓的轮询策略。轮询策略是 Kafka Java 生产者 API 默认提供的分区策略。如果你未指定partitioner.class 参数那么你的生产者程序会按照轮询的方式在主题的所有分区间均匀地“码放”消息。
轮询策略有非常优秀的负载均衡表现它总是能保证消息最大限度地被平均分配到所有分区上故默认情况下它是最合理的分区策略也是我们最常用的分区策略之一。
3.2 随机策略
也称 Randomness 策略。所谓随机就是我们随意地将消息放置到任意一个分区上如下面这张图所示。 如果要实现随机策略版的 partition 方法很简单只需要两行代码即可
ListPartitionInfo partitions cluster.partitionsForTopic(topic);
return ThreadLocalRandom.current().nextInt(partitions.size());
先计算出该主题总的分区数然后随机地返回一个小于它的正整数。
本质上看随机策略也是力求将数据均匀地打散到各个分区但从实际表现来看它要逊于轮询策略所以如果追求数据的均匀分布还是使用轮询策略比较好。事实上随机策略是老版本生产者使用的分区策略在新版本中已经改为轮询了。
3.3 按消息键保序策略
也称 Key-ordering 策略。有点尴尬的是这个名词是我自己编的Kafka 官网上并无这样的提法。
Kafka 允许为每条消息定义消息键简称为 Key。这个 Key 的作用非常大它可以是一个有着明确业务含义的字符串比如客户代码、部门编号或是业务 ID 等也可以用来表征消息元数据。特别是在 Kafka 不支持时间戳的年代在一些场景中工程师们都是直接将消息创建时间封装进 Key 里面的。一旦消息被定义了 Key那么你就可以保证同一个 Key 的所有消息都进入到相同的分区里面由于每个分区下的消息处理都是有顺序的故这个策略被称为按消息键保序策略如下图所示。 实现这个策略的 partition 方法同样简单只需要下面两行代码即可
ListPartitionInfo partitions cluster.partitionsForTopic(topic);
return Math.abs(key.hashCode()) % partitions.size();
前面提到的 Kafka 默认分区策略实际上同时实现了两种策略如果指定了 Key那么默认实现按消息键保序策略如果没有指定 Key则使用轮询策略。
3.4 其他分区策略
上面这几种分区策略都是比较基础的策略除此之外你还能想到哪些有实际用途的分区策略其实还有一种比较常见的即所谓的基于地理位置的分区策略。当然这种策略一般只针对那些大规模的 Kafka 集群特别是跨城市、跨国家甚至是跨大洲的集群。
四、小结
今天我们讨论了 Kafka 生产者消息分区的机制以及常见的几种分区策略。切记分区是实现负载均衡以及高吞吐量的关键故在生产者这一端就要仔细盘算合适的分区策略避免造成消息数据的“倾斜”使得某些分区成为性能瓶颈这样极易引发下游数据消费的性能下降。
