【消息队列系列4】原理初探之RocketMQ

最新推荐文章于 2024-08-25 16:09:46 发布
原创 最新推荐文章于 2024-08-25 16:09:46 发布 · 368 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#消息队列

本文详细介绍了RocketMQ的基本概念、消息模型、系统架构及其高级特性，包括顺序消费、重复消费、分布式事务、消息堆积等。RocketMQ是一个高性能、高可靠的分布式消息中间件，采用主题模型，支持发布订阅模式，通过NameServer、Broker、Producer和Consumer四大角色实现消息传递。文章还探讨了RocketMQ的容错机制和扩展特性，如定时消息和回溯消费，强调了在设计中平衡消息顺序性和系统可用性的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

​RocketMQ是一个纯Java、分布式、队列模型的开源消息中间件，前身是MetaQ，是阿里参考Kafka特点研发的一个队列模型的消息中间件，后开源给apache基金会成为了apache的顶级开源项目，具有高性能、高可靠、高实时、分布式特点。

往期精选（欢迎转发~~）

先提前祝大家五一快乐！！！

因为个人学习重点调整，消息队列目前只先发这4篇文章，后面会选择一种消息队列，重点介绍环境搭建和使用姿势上，也就是消息队列的第5篇文章，预计3个月之内会补上去，期待后续...

4.1 基本概念

先对常用的词汇有个基本认识，相关词汇后面会再详细介绍：

  • NameServer：一个功能齐全的服务器，其角色类似Dubbo中的Zookeeper。

  • Producer：消息生产者，负责产生消息，一般由业务系统负责产生消息。

  • Consumer：消息消费者，负责消费消息，一般是后台系统负责异步消费。

  • Broker：消息中转角色，负责存储消息，转发消息。

  • Message：消息，一条消息必须有一个主题（Topic），主题可以看做是你的信件要邮寄的地址。（一条消息也可以拥有一个可选的标签（Tag）和额处的键值对，它们可以用于设置一个业务 Key 并在 Broker 上查找此消息以便在开发期间查找问题。）

  • Topic：主题，可以看做消息的归类，它是消息的第一级类型。（比如一个电商系统可以分为：交易消息、物流消息等，一条消息必须有一个 Topic 。Topic 与生产者和消费者的关系非常松散，一个 Topic 可以有0个、1个、多个生产者向其发

最低0.47元/天 解锁文章

200万优质内容无限畅学
RocketMQ技术全面解析（概念、设计理念与目标、信息发送、同步发送--含代码！）
Java_Yhua的博客
12-08 1748
目录1.RocketMQ 介绍2.核心概念2.1NameServer2.2主题2.3生产者2.4消费者2.5消息3.核心概念4.RocketMQ 的设计理念和目标4.1设计理念4.2设计目标5.RocketMq 中消息的发送5.1单向(OneWay)发送5.1.1.代码演示5.1.2.Producer Group（生产者分组）5.1.3.Producer 实例5.1.4.Message Key5.1.5.Tag5.2.可靠同步发送5.2.1.Message ID5.2.2.SendStatus5.2.3Q.
消息队列原理和选型：Kafka、RocketMQ 、RabbitMQ 和 ActiveMQ
m0_71777195的博客
06-08 419
消息队列中间件重要吗？面试必问问题之一，你说重不重要。我有时会问同事，为啥你用 RabbitMQ，不用 Kafka，或者 RocketMQ 呢，他给我的回答 “因为公司用的就是这个，大家都这么用”，如果你去面试，直接就被 Pass，今天这篇文章，告诉你如何回答。这篇文章，我重点突出消息队列选型，弱化每种队列内部的实现细节，精华提炼，可读性更强！常用的消息队列主要这 4 种，分别为 Kafka、RabbitMQ、RocketMQ 和 ActiveMQ，主要介绍前三，不BB，上思维导图！消息队列是在消息的传输过
RocketMQ使用SelectMessageQueueByHash 保证顺序有序
张俊杰 的博客
10-21 941
使用SelectMessageQueueByHash 保证顺序有序 说明 这里演示使用SelectMessageQueueByHash ,也可以自定义消息队列选择器: 自定义消息队列选择器的博客地址是 : https://zjj1994.blog.csdn.net/article/details/120875465 Comsumer package org.apache.rocketmq.example.ordermessage; import org.apache.rocketmq.client.c
RocketMQ 消费者分类与分组
这个需求，做不了
09-22 1805
在消费过程中，前面的消息M1、M2被消费者Consumer A1处理时，只要消费状态没有提交，消费者A2是无法并行消费后续的M3、M4消息的，必须等前面的消息提交消费状态后才能消费后面的消息。消费者获取某条消息后，服务端会将该消息加锁，保证这条消息对其他消费者不可见，直到该消息消费成功或消费超时，因此，即使多个消费者同时消费同一队列的消息，服务端也可保证消息不会被多个消费者重复消费。使用此命令，我们可以添加消费者分组，并且可以设置分组相关信息，比如-o 顺序消费，-r 最大重试次数等。
【无标题】
weixin_62159113的博客
09-28 280
下载安装Apache RocketMQ
RocketMQ之Group、Topic、Tag之间的关系及订阅关系一致
热门推荐
weixin_43864292的博客
09-01 1万+
本文简要的介绍了三者之间的关系及订阅关系一致性问题。
RocketMQ实战-初探PushConsumer限流机制实现原理
Huangjiazhen711的博客
11-08 770
本篇从客户端以及服务端的视角，分别介绍了各自的限流机制，我们从中可以看出来，站在不同的视角，限流策略考虑的方向也是不同的，客户端主要是为了防止内存的溢出以及重复消费，服务端主要是为了保障中间件运行的稳定性。
MQ最大努力通知VS可靠性消息一致性：分布式事务中的区别与应用比较
最新发布
Apple_Boy的博客
08-25 1091
最大努力通知方案是分布式事务中对一致性要求最低的一种,适用于一些最终一致性时间敏感度低的业务；消息重复通知机制。消息校对机制。综上所述，只要业务主动方提供了回调查询接口，业务被动方保证接口的幂等性，消息数据是允许丢失的在实现最大努力通知型分布式事务时，最关键的两点是业务主动方提供回调查询接口，业务被动方接收消息通知的接口保证幂等性参考文章：主要整理于黑马分布式事务教程。
RocketMQ快速入门：group、topic、queue、tag等基本概念（四）
55555的博客
04-23 6500
上一节，我们说明了rocketmq中的4个核心组成以及他们之间的工作关系。但其中穿插的topic, queue等概念，如果未接触过mq的同学可能会有些迷糊，所以本节，我们重点针对rocketmq中的基本概念进行讲解，之前学习过其他mq的同学也能够形成对比。
总结：RocketMQ
w2009211777的专栏
03-31 1684
一、架构 RocketMQ 是阿里巴巴开源的一款分布式消息中间件。具有高性能低延时抗堆积可扩展等特点。 RocketMQ的Producer、Consumer、Broker、NameServer均支持集群化部署。 架构图如下： 二、名词解释 Broker 消息队列的服务端，消息实际存储的地方。 Master 角色为Master的Broker，一个Master + 一个Slave 分为一组，Master和Slave数据一致并保持同步关系。同步方式分为同步（sync）和异步（async）两种。
RocketMQ组成架构
qq_40959750的博客
07-21 1404
主要有四大核心组成部分：NameServer、Broker、Producer以及Consumer四部分。 NameServer： 主要负责对于源数据的管理，包括了对于Topic和路由信息的管理。 NameServer是一个功能齐全的服务器，其角色类似Dubbo中的Zookeeper，但NameServer与Zookeeper相比更轻量。主要是因为每个NameServer节点互相之间是独立的，没有任何信息交互。 NameServer压力不会太大，平时主要开销是在维持心跳和提供Topic-Broker的关
RocketMQ原理
Lailai Monkey的博客
01-31 490
基础概念 消息模型（Message Model） RocketMq主要由三部分组成：Producer（发送消息）、Broker（存储消息）、Consumer（消费消息）。Broker实际部署中对应一台服务器，每个Broker可以存储多个Topic消息，每个Topic消息也可以分片存储不同的Broker中，Message Queue用于存储消息的物理地址，每个Topic消息地址存储多个Message Queue中。 生产者（Producer） 负责生产消息，一般由业务系统负责生产消息。一个消息生产者会把业务应
教程：Spring Boot整合RocketMQ的配置与优化
省赚客开发者博客
06-27 906
大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！在分布式系统和微服务架构中，消息中间件扮演着至关重要的角色，用于实现不同服务之间的解耦和异步通信。Apache RocketMQ作为一款高性能、低延迟、高可靠的消息中间件，在微服务和大数据场景中广受欢迎。本教程将详细介绍如何在Spring Boot应用中集成和优化RocketMQ，以便于开发者能够充分利用其强大的消息传递能力。
RocketMQ学习笔记（一）
中都
05-12 1894
下载地址：https://rocketmq.apache.org/zh/download/Github地址：https://github.com/apache/rocketmq。RocketMQ的官网地址：https://rocketmq.apache.org/
消息中间件—RocketMQ（二）进阶
jiayibingdong的博客
03-14 719
一、生产者 1、生产者消息发送规则 2、消息有序 部分有序 生产者发送一条之后要等待响应保证有序 通过hashkey取模路由到同一个message queue 消费者单线程消费并且加锁
深入RocketMQ生产者负载均衡（顺序消息场景）：剖析MessageGroupHash模式和SipHash算法
程序员野蛮成长
09-01 310
然而，需要注意的是，虽然SipHash算法在设计上是安全的，但在实际应用中，仍然需要根据具体情况和需求来选择适当的算法和参数。MessageGroupHash模式下，生产者发送消息时，以消息组为粒度，按照内置的Hash算法，将相同消息组的消息分配到同一队列中，保证同一消息组的消息按照发送的先后顺序存储。SipHash和MessageGroupHash（MGH）是两个密切相关的概念，其中SipHash是一种哈希算法，而MGH是一种使用SipHash构建的哈希模式。
RocketMQ 关键特性
weixin_33811961的博客
12-09 287
Apache RocketMQ之所以能在众多的消息中间件中脱颖而出，能吸引数千企业用户与RocketMQ的关键特性是分不开的，本文详细介绍RocketMQ中的关键特性。 一、过万的单机队列数 诸如Kafka之类的消息中间件，在队列数上升时性能会产生巨大的损失，RocketMQ之所以能单机支持上万的持久化队列与其独特的存储结构分不开。 如上图所示，所有的...
深入理解 RocketMQ
zhglance的专栏
02-13 5824
本文对RocketMQ的仅做理论性阐述，以便更深入的理解RocketMQ的内部机制，遇到棘手的问题更容易入手解决。关于代码实战请参考鄙人的另一篇文章：RocketMQ 入门使用详解
ActiveMQ 基础到进阶 && 高级面试
村里的原振侠的博客
09-17 680
activemq查漏补缺 基础 带日志自定义启动 ./activemq start > /myactiveMQ/run_time.log 注意如果启动不了amq，有一种原因是：linux机器名带有下滑线_，腾讯云服务器也会带下划线，会在日志中报错。 activemq图解 通过ConnectionFactory获取connection，connection生成Session，然后session可以生成Message，MessageProducer和MessageConsumer。 消费者 一个生产者
深入分析RocketMQ源码：分布式消息队列实现原理
RocketMQ的消息存储设计是其高性能的关键因素之一。消息数据通常会存储在磁盘上，但为了提高读写性能，RocketMQ采用了顺序写、顺序读的方式。消息在被写入磁盘时，会先写入PageCache（内存缓存），然后通过异步刷盘...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值