手机网站空间申请,唐山做网站多少钱,天津网站设计 河西,炫酷的企业网站背景
在上一篇文章《读kafka生产端源码#xff0c;窥kafka设计之道#xff08;上#xff09;》 留下了kafka设计上比较优秀的一个点#xff1b;内存的循环使用。本篇文章准备盘盘它。
好奇
为什么 kafka减少发送消息时向JVM频繁申请内存#xff0c;就可以降低JVM GC的执…背景
在上一篇文章《读kafka生产端源码窥kafka设计之道上》 留下了kafka设计上比较优秀的一个点内存的循环使用。本篇文章准备盘盘它。
好奇
为什么 kafka减少发送消息时向JVM频繁申请内存就可以降低JVM GC的执行次数
我们知道网络上传输的都是二进制数据而在java中想通过socke网络套接字接口发送数据底层都是用的ByteBuffer。在往网络上发送数据前先申请块ByteBuffer的内存然后把数据写入到此ByteBuffer内存中调用底层socket的write接口就OK了大概伪代码流程 //伪代码//申请内存ByteBuffer buffer ByteBuffer.allocate(size)//内存里加入数据buffer.put(XXX)//发送数据SocketChannel.write(ByteBuffer src)ByteBuffer占用的内存什么时候会被回收了
答在jvm进行GC时会被回收
试想如果上面那段代码执行非常频繁创建ByteBuffer就会很频繁创建ByteBuffer很频繁那么申请内存就会很频繁申请内存越频繁内存被占满的时间也就会越来越短内存满了就只能靠不停的GC进行内存的回收加以重复使用了。而现代JVM里GC的发展目标之一就是减少GC的停顿时间。GC优化大师从PSCMSG1到ZGC都在朝这这个方向在努力。
kafka如何解决这个内存频繁申请和GC 频繁释放的问题了
如果可以用一句简单的话来总结那么我想应该是 对ByteBuffer的重复使用。 是的用完了不要丢也不让jvm 给GC了。 即对进行了网络发送的ByteBuffer进行复用如果有新的消息要发送可以从缓存池里获取已有 ByteBuffer然后往里面写入消息数据当IO线程把ByteBuffer里的消息发往broker并收到对应的响应后会把ByteBuffer放回缓存池供下一次需要发送的消息循环使用。 大概流程如下图
核心参数和代码
有两个核心参数可以控制缓存池BufferPool的行为 buffer.memory 缓存池大小默认32M。如果IO thread发送消息的速率比业务线程生产消息的速度慢则会引起业务线程的阻塞可根据实际情况和jvm大小增大此参数 batch.size 控制每个缓存块ByteBuffer的大小默认为16K。即一个 BatchRecord里可存的多条消息最大空间。 ByteBuffer的申请 ByteBuffer的回收
总结
如果要编写一款网络应用程序或者网络框架的工具我希望能向kafka一样能考虑到内存的复用并且减少对上层应用的影响。 假设一个应用通过kafka发送50个G的网络数据那么kafka的缓存池就节约了10个G内存的申请和回收由此减少了多少次GC和GC暂停时间了。那么假设有个50个这样的应用了总的收益又是多少了 不是所有的工具都能号称是为应对大数据场景而产生的kafka做为一款中间件能比较好的融入大数据生态kafka的研发人员有自己的独特设计和考虑在支撑这它。
原创不易请 点赞关注留言转载 4暴击^^
