内江规划建设教育培训中心网站,html5软件下载手机版,养生网站建设免费,高端网站建设公司排行《Kafka 高性能架构设计 7 大秘诀》专栏第 6 章。 压缩#xff0c;是一种用时间换空间的 trade-off 思想#xff0c;用 CPU 的时间去换磁盘或者网络 I/O 传输量#xff0c;用较小的 CPU 开销来换取更具性价比的磁盘占用和更少的网络 I/O 传输。 Kafka 是一个高吞吐量、可扩展… 《Kafka 高性能架构设计 7 大秘诀》专栏第 6 章。 压缩是一种用时间换空间的 trade-off 思想用 CPU 的时间去换磁盘或者网络 I/O 传输量用较小的 CPU 开销来换取更具性价比的磁盘占用和更少的网络 I/O 传输。 Kafka 是一个高吞吐量、可扩展的分布式消息系统深入掌握 Kafka 的数据压缩和批量数据处理机制对于优化系统性能和资源使用至关重要。 Kafka 数据压缩机制 数据压缩在 Kafka 中有助于减少磁盘空间的使用和网络带宽的消耗从而提升整体性能。 通过减少消息的大小压缩可以显著降低生产者和消费者之间的数据传输时间。 ChayaKafka 支持的压缩算法有哪些 在 Kafka 2.1.0 版本之前Kafka 支持 3 种压缩算法GZIP、Snappy 和 LZ4。从 2.1.0 开始Kafka 正式支持 Zstandard 算法简写为 zstd。 Chaya这么多压缩算法我如何选择 一个压缩算法的优劣有两个重要的指标压缩比文件压缩前的大小与压缩后的大小之比比如源文件占用 1000 M 内存经过压缩后变成了 200 M压缩比 1000 /200 5压缩比越高越高另一个指标是压缩/解压缩吞吐量比如每秒能压缩或者解压缩多少 M 数据吞吐量越高越好。 如下图是 Facebook Zstandard 官网提供的一份压缩算法 benchmark 比较结果 从图中可以看到ZSTD 压缩比最高但是吞吐量中规中矩。LZ4 在吞吐量方面属于王者。 GZIP压缩比高但压缩和解压缩速度相对较慢。适用于对传输带宽要求较高的场景。Snappy由 Google 开发压缩和解压缩速度快但压缩比相对较低。适用于对性能要求较高的场景。LZ4在压缩和解压缩速度以及压缩比之间取得良好平衡。适用于对性能和压缩比有综合需求的场景。ZSTD由 Facebook 开发提供高压缩比和较快的压缩解压速度。适用于对高效压缩和快速处理都有需求的场景。 在 Kafka 的性能测试结果中不同压缩算法的两个指标有以下排序特点。 吞吐量方面LZ4 Snappy zstd 和 GZIP压缩比方面zstd LZ4 GZIP Snappy。 何时压缩 Chaya我觉得可以在生产者和 Broker 端进行压缩对么 在生产者端压缩是很自然的想法大部分情况下 Broker 收到 Producer 端的消息后是原封不动的保存并不会进行压缩。 生产者压缩 Kafka 的数据压缩主要在生产者端进行。具体步骤如下 生产者配置压缩方式在 KafkaProducer 配置中设置 compression.type 参数可以选择 gzip、snappy、lz4 或 zstd。消息压缩生产者将消息批量收集到一个 batch 中然后对整个 batch 进行压缩。这种批量压缩方式可以获得更高的压缩率。压缩消息存储压缩后的 batch 以压缩格式存储在 Kafka 的主题Topic分区中。消费者解压缩消费者从 Kafka 主题中获取消息时首先对接收到的 batch 进行解压缩然后处理其中的每一条消息。
