企业建筑网站有哪些类型有哪些,新人0元购物软件,英国有哪些做折扣的网站,佛山市制作网站您好#xff0c;我是码农飞哥#xff08;wei158556#xff09;#xff0c;感谢您阅读本文#xff0c;欢迎一键三连哦。 #x1f4aa;#x1f3fb; 1. Python基础专栏#xff0c;基础知识一网打尽#xff0c;9.9元买不了吃亏#xff0c;买不了上当。 Python从入门到精… 您好我是码农飞哥wei158556感谢您阅读本文欢迎一键三连哦。 1. Python基础专栏基础知识一网打尽9.9元买不了吃亏买不了上当。 Python从入门到精通 2. 毕业设计专栏毕业季咱们不慌忙几百款毕业设计等你选。 ❤️ 3. Python爬虫专栏系统性的学习爬虫的知识点。9.9元买不了吃亏买不了上当 。python爬虫入门进阶 ❤️ 4. Ceph实战从原理到实战应有尽有。 Ceph实战 ❤️ 5. Java高并发编程入门打卡学习Java高并发。 Java高并发编程入门 文章目录 1、消息队列2、消息队列的应用场景3、RocketMQ的简介4、各类MQ的对比5、RocketMQ的技术架构6、RockerMQ领域模型1. 消息生产2. 消息存储3. 消息消费 参考 1、消息队列
消息队列Message Queue下面简称MQ 是一种用于分布式系统中各节点之间进行消息传输的独立于平台的软件系统。如果把分布式系统中的各个节点比喻成商家和顾客的话那么消息中间件就是快递公司。商家生产者将快递消息投递给快递公司快递公司负责运送快递给顾客消费者。那么在分布式系统架构中为啥要用消息中间件呢
2、消息队列的应用场景
消息队列在分布式系统中主要用于异步解耦流量削峰等场景。就以订单流程为例。没有使用消息队列的情况下用户下单需要订单系统调用商品系统扣减库存调用积分系统发放积分调用优惠券系统抵扣优惠券。这几个系统都与订单系统耦合在一块了。任意一个系统的失败都可能导致下单失败。 使用消息队列之后订单系统只需要发送一条消息商品系统积分系统优惠券系统直接订阅订单系统发送的消息即可。 3、RocketMQ的简介
RocketMQ是阿里巴巴开源的一款消息队列它具有低延迟高吞吐量高可靠性等特点。目前RocketMQ在阿里巴巴内部有着广泛的应用经历多次双十一的洗礼RocketMQ的可靠性非常高。
4、各类MQ的对比
目前市面上常用的MQ有: kafka, RabbitMQ,RocketMQ,ActiveMQ。这四种MQ的主要对比如下图所示
名称RabbitMQActiveMQRocketMQkafka开发语言ErlangJavaJavaScalaJava客户端支持语言支持JAVA优先语言无关只支持JAVA支持JAVA优先单机吞吐量其次(万级)最差万级最高十万级次之十万级消息延迟微秒级\比kafka快毫秒级数据可靠性可以保证数据不丢失有slave用作备份master/slave支持异步实时刷盘同步刷盘同步复制异步复制数据可靠并且有副本机制有容错容灾能力HAmaster/slave模式master提供服务slave仅作备份基于ZookeeperLevelDB的Master-Slave实现方式支持多Master模式多Master多Slave模式异步复制模式支持replica机制leader宕机后备份自动顶替并重新选举leader基于zookeeper消息推拉模式多协议Pull/Push均有支持多协议Pull/Push均有支持多协议Pull/Push均有支持Pull成熟度成熟成熟比较成熟成熟特点支持协议多协议支持AMQP,XMPP,SMTP,STOMP自有协议自有协议社区封装了HTTP协议支持持久化内存文件支持数据堆积但数据堆积会影响生产速率内存文件数据库磁盘文件磁盘文件只要做到事务不支持支持支持不支持但可以通过Low Level API保证只消费一次负载均衡支持支持支持支持集群支持支持支持支持评价优点由于Erlang语言的特性mq性能较好管理界面丰富在互联网公司也有大规模应用支持amqp。 缺点erlang语言难度较大集群不支持动态扩展。优点成熟的产品已经在很多公司得到应用。缺点社区不活跃会出现莫名其妙的问题且会丢失消息优点模型简单。在阿里大规模应用单日处理消息上百亿。
综上所述
早期的话ActiveMQ使用比较多但是ActiveMQ没有经历过大吞吐量场景的验证且可能会丢失消息社区也不活跃现在应用的比较少了。
RabbitMQ 得益于其活跃的开源社区以及高可用性被不少公司应用。但是Erlang语言阻止了大量的java开发工程师去深入研究和掌握它对公司而言几乎处于不可控的状态。
RocketMQ 作为经历过双十一大吞吐量场景的考验Java语言开发的消息队列现在被越来越多的公司采用。RocketMQ也已经捐给了Apache 基金会社区较为活跃。
kafka主要应用于日志收集场景。
如果系统使用消息队列主要场景是处理在线业务比如在交易系统中用消息队列传递订单需要低延迟和高稳定性建议使用 RocketMQ。
如果需要处理海量的消息像收集日志、监控信息或是埋点这类数据或是你的应用场景大量使用了大数据、流计算相关的开源产品那 Kafka 是最适合的消息队列。
5、RocketMQ的技术架构 RockerMQ架构上主要分为四部分 如上图所示 Producer: 消息生产者角色支持分布式集群部署主要用于发送消息通常集成于业务系统。它相当于是发信者。 Consumer: 消息消费者角色支持分布式集群部署支持以push推pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费通常集成于业务系统。它相当于收信者。 Broker: 主要负责消息的存储、投递和查询以及服务高可用保证。它相当于是邮局 其内部包含以下几个重要子模块。 4.1. Remoting Module: 整个Broker的实体负责处理来自Clients端的请求。 4.2. Client Manager: 负责管理客户端Producer/Consumer和维护Topic订阅信息。 4.3. Store Service: 提供方便简单的API接口处理消息存储到物理磁盘和查询功能。 NameServer: 它是Broker的注册中心支持Broker的动态注册与发现。它主要包括两个功能Broker管理NameServer接受Broker集群的注册信息并且保存下来作为路由信息的提供者。然后提供心跳检测机制检查Broker是否存活路由信息管理每个NameServer通常也是集群方式部署各实例互不进行通信Broker向每一台NameServer注册自己的路由信息 所以每一个NameServer实例上面都保存一份完整的路由信息当某个NameServer因某种原因下线了Broker仍然可以向其他NameServer同步其路由信息。NameServer是无状态的。
6、RockerMQ领域模型 如上图所示RocketMQ中消息的生命周期主要分为消息生产、消息存储、消息消费这三部分。
生产者生产消息并发送到RocketMQ服务端消息被存储到服务端的主题中消费者通过订阅主题消费消息。
1. 消息生产
生产者Producer用于产生消息的运行实体一般集成于业务调用链路的上游。生产者是轻量级匿名无身份的。
2. 消息存储 主题Topic: RocketMQ 消息传输和存储的分组容器主题内部由多个队列组成消息的存储和水平扩展实际是通过主题内的队列实现的。 队列MessageQueue: RocketMQ 消息传输和存储的实际单元容器类比于其他消息队列中的分区。RocketMQ 通过流式特性的无限队列结构来存储消息消息在队列内具有顺序存储特性。 消息Message: RocketMQ 的最小传输单元消息具备不可变性在初始化发送和完成存储后即不可变。
3. 消息消费 消费者分组ConsumerGroup: RocketMQ发布订阅模型中定义的独立的消费身份分组。用于统一管理底层运行的多个消费者Consumer。同一个消费者组的多个消费者必须保持消费逻辑和配置一致共同分担该消费者组订阅的消息实现消费能力的水平扩展。 消费者Consumer: RocketMQ 消费消息的运行实体一般集成在业务调用链路的下游。消费者必须指定到某一个消费者组中。 订阅关系Subscription: RocketMQ 发布订阅模型中消息过滤、重试、消费进度的规则配置。订阅关系以消费组粒度进行管理消费组通过定义订阅关系控制指定消费组下的消费者如何实现消息过滤、消费重试及消费进度恢复等。RocketMQ 的订阅关系除过滤表达式之外都是持久化的即服务端重启或请求断开订阅关系依然保留。
参考
领域模型概述
千锋教育RocketMQ全套视频教程快速掌握MQ消息中间件
