零食天堂 专做零食推荐的网站,免费代理游戏,中国企业网络营销现状,网站开发流程可规划为哪三个阶段Kafka的性能好在什么地方 一、顺序写二、零拷贝三、额外补充 kafka不基于内存#xff0c;而是硬盘存储#xff0c;因此消息堆积能力更强 一、顺序写
顺序写 : 利用磁盘的顺序访问速度可以接近内存#xff0c;kafka的消息都是append操作#xff0c;partition是有序的#… Kafka的性能好在什么地方 一、顺序写二、零拷贝三、额外补充 kafka不基于内存而是硬盘存储因此消息堆积能力更强 一、顺序写
顺序写 : 利用磁盘的顺序访问速度可以接近内存kafka的消息都是append操作partition是有序的节省了磁盘的寻道时间同时通过批量操作、节省写入次数partition物理上分为多个segment存储方便删除。
传统:
读取磁盘文件数据到内核缓冲区将内核缓冲区的数据copy到用户缓冲区将用户缓冲区的数据copy到socket的发送缓冲区将socket发送缓冲区中的数据发送到网卡、进行传输
二、零拷贝
直接将内核缓冲区的数据发送到网卡传输使用的是操作系统的指令支持
kafka不太依赖JVM主要理由操作系统的pageCache如果生产消费速率相当则直接用pageCache交换数据不需要经过磁盘 IO
三、额外补充
Kafka的优点包括 高吞吐量Kafka的设计目标之一是提供高吞吐量的消息传输它能够支持每秒数百万条消息的传输。 可扩展性Kafka的分布式架构可以方便地进行扩展可以通过增加节点来增加吞吐量和存储容量。 可靠性Kafka通过将数据复制到多个节点来实现数据冗余和高可用性即使某个节点故障也可以保证数据不会丢失。 实时性Kafka能够快速地处理和传输数据支持实时数据的处理和分析。 灵活性Kafka可以与各种不同的数据处理和分析工具集成包括流处理、批处理、数据挖掘等等。
总之Kafka是一个高性能、高可靠性、高扩展性的分布式流处理平台非常适合处理大规模实时数据。
