html网站开发实战,网站备案视频,wordpress 页面调用标签,湖南网站建设怎么样如何避免消息重复消费
RocketMQ#xff1a;给每个消息分配了一个MessageID。这个MessageID就可以作为消费者判断幂等的依据。这种方式不太建议#xff0c;原因是在高并发场景下这个MessageID不保证全局唯一性。
最好由业务方创建一个与业务相关的全局唯一的ID来区分消息给每个消息分配了一个MessageID。这个MessageID就可以作为消费者判断幂等的依据。这种方式不太建议原因是在高并发场景下这个MessageID不保证全局唯一性。
最好由业务方创建一个与业务相关的全局唯一的ID来区分消息避免重复消费。
RabbitMQ与Kafka都未提供MessageID.
消息的顺序
RocketMQ对消息提供有序消息但只保证局部有序不保证全局有序。producer中可以选择队列consummer中必须注册一个MessageListenOrderly监听普通方式的监听是不能保证顺序的。生产者把一组有序的消息放到一个队列当中而消费者一次消费整个队列当中的消息。 但是RabbitMQ和kafka都未提供完整的机制来实现消息顺序。 RabbitMQ要保证上标exchange只对应一个队列并且一个队列只对应一个消费者。当然这会影响性能。 kafka生产者保证一组消息发送到一个partition里面保证Topic下只对应一个消费者。
如何保证消息的高效读写
零拷贝kafka和RocketMQ都是通过零拷贝技术来优化文件读写的。
应用程序跑在用户空间中用户空间不能直接访问内核空间传统文件复制到用户
零拷贝分两种方式mmap和transfile文件传输过程中直接使用DMA进行优化,java中的MappedByteBuffer就是使用的mmap的方式而FileChannel的底层就是使用了transfile来操作。mmap适合操作比较小的文件文件大小不要超过1.5G-2Gtransfile则不进行限制。RockeMQ当中使用mmap方式来对他的文件进行读写commitlog文件大小为1G如果写满再生成一个1G的文件。
在kafka中它的index日志文件也是使用mmap的方式来读写的,在其它日志文件中并没有使用零拷贝的方式。kafka使用transfile方式将硬盘数据加载到网卡。
如何设计一个MQ
1、实现一个单机的队列数据结构。高效、可扩展。
2、将单机队列扩展成为分布式队列。分布式集群管理
3、基于Topic定制消息路由策略。-发送者路由策略消费者与队列对应关系消费者路由策略
4、实现高效的网络通信。-Netty Http
5、规划日志文件实现文件高效读写。-零拷贝、顺序写。服务重启后快速还原运行现场。
6、定制高级功能死信队列、延迟队列、事务消息等等。贴合实际随意发挥。
