记一次线上MQ堆积问题处理

已于 2023-06-03 12:27:58 修改
阅读量479 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spring-Kafka 文章标签： kafka 分布式
于 2023-06-02 21:01:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29569183/article/details/131013914
线上服务在高峰期遇到Kafka Topic消息堆积问题，影响业务。通过问题分析，发现分区较少和服务节点不足是原因。采取了Topic分区扩容和消费者服务节点扩容的策略，最终成功解决堆积并确保消费稳定。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

背景

问题现象

处理过程

背景

线上某Kafka Topic原有6个分区，消费者服务有10个POD节点，。

问题现象

上午11.30左右一波下单高峰，根据分布式消息告警发现有少量消息堆积，但是堆积量不大，持续几分钟后恢复正常。

下午1.30点后出现新一轮高峰，出现了大量消息堆积，堆积量超过两万。由于堆积的消息影响了三方外卖单的接单业务，陆续有门店反馈三方外卖单接单时间很长，只能手动接单。

处理过程

1.Topic分区扩容

由于当前Topic分区较少，服务节点数量已经大于分区数，加服务节点没有意义。

在确定了当前MQ消息顺序要求不是特别高，且消费逻辑做了幂等后，决定把分区扩容一倍。

扩容后大部分分区堆积很快就消失了，但是仍然有四个分区不太正常。

原因是

了解本专栏 订阅专栏 解锁全文 超级会员免费看
记录一次线上kafka故障及处理方式
Java_LingFeng的博客
11-02 1940
线上kafka消息堆积，所有consumer全部掉线，到底怎么回事？ 最近处理了一次线上故障，具体故障表现就是kafka某个topic消息堆积，这个topic的相关consumer全部掉线。 整体排查过程和事后的复盘都很有意思，并且结合本次故障，对kafka使用的最佳实践有了更深刻的理解。 好了，一起来回顾下这次线上故障吧，最佳实践总结放在最后，千万不要错过。
生产案例：消息堆积排查分析
CBeann的博客
06-03 474
消息堆积排查分析
MQ线上消息乱序问题处理及场景详解
喜欢猪猪
11-21 799
消息乱序问题是指MQ在传递消息时，消息的顺序与发送时的顺序不一致。这种问题可能会导致业务逻辑错误、数据不一致等严重后果。例如，在电商系统中，如果订单消息的顺序被打乱，可能会导致库存扣减错误、订单状态异常等问题。本文深入探讨了MQ线上消息乱序问题的处理策略，并结合实际业务场景、功能点、底层原理逻辑，使用Java模拟了几种常见的MQ使用场景。通过本文的学习，读者可以更加深入地理解MQ的核心作用和使用方法，为实际业务中的MQ应用提供有力的技术支持。
消息队列RabbitMQ线上问题总结
guotufu的博客
12-11 1876
首先简单介绍下RabbitMQ。RabbitMQ使用高并发性的erlang语言开发编写，性能比较好，并且可靠性比较高，支持事务。RabbitMQ这些特性都比较适合我们当前的业务，对可靠性和稳定性都要求比较高，很适合作为我们系统的消息总线和异步解耦。而Spring boot集成RabbitMQ也比较简单，网上资料很多，下面是我刚开始使用的一种集成方案： 首先maven要引入相关的依赖包： &lt...
线上MQ消息堆积了怎么处理？被面试官问麻了
qq_42649356的博客
03-27 425
面试官：我看你简历上有使用RabbitMQ的经历，那你能说说如果现在线上MQ消息大量堆积，需要你处理，你要怎么解决？小小：把队列删了这样就看不到堆积了。面试官：好好好，果然是百年难得一遇的天才。小小：那我面试通过了？面试官：滚出去！
【生产问题记录】一次 MQ 堆积的解决 (并发地从数据库中查询出大量数据导致数据库繁忙最终宕机)
LCN29的博客
11-07 580
查看堆内存设置为 2G (-Xmx2G, 小堆多实例的配置), 先尝试将堆内存设置为 4G (-Xmx4G), 解决上面的异常, 让应用能够继续消费。同样通过 jstack 查看, 消费线程都是 Runnable 状态, 默认是解决了, 等消息消费完就行了, 回到旧版本, 定位原因。这种 MQ 堆积的情况, 个人习惯都会先确定一下对应的消费线程的状态, 确定是消费慢, 还是消费阻塞等原因。所有的消费线程都是进入 WAITING 状态, 失去了消费能力, 连续抽查了几台生产实例, 都是相同的情况。
MQ线上大规模消息堆积问题处理及使用场景详解
喜欢猪猪
11-21 1142
本文通过对MQ的历史背景、业务场景、功能点、底层原理逻辑等方面的深入探讨，以及Java模拟场景的实战指导，为读者提供了全面的MQ知识体系和实战技能。在面对MQ线上大规模消息堆积问题时，我们可以通过优化生产者发送速率、提升消费者处理能力、使用死信队列和扩容MQ集群等策略进行处理。未来，随着业务量的不断增长和技术的不断发展，MQ将在更多领域发挥重要作用。作为MQ的使用者，我们需要不断学习和掌握新的技术和方法，以应对日益复杂的业务需求和挑战。
记一次线上RocketMQ消息堆积排查过程
azbh111的博客
12-21 1530
今天运营同事报告了一个问题，有用户使用兑换码兑换课程后，在课程列表里看不到课。 首先排查日志，发现兑换课程的MQ消息发送出去了，但没有被接收。 进入阿里云控制台查看MQ消息队列，发现堆积了一千多条消息，很多消息一次都没有投递。 查看Consumer服务，负载很低，服务正常运行。 查看服务日志，几分钟前才消费了一条消息。对比这条消息和其中积压的一条消息，Topic相同，Tag相同。说明不是MQ配置发生了变化，且当前服务能正常消费消息。但积压的消息为什么消费不了呢？ 查看消息开始积压的时间点是16号，
线上问题原因及处理方案
猪猪
08-19 517
1、利用Pinpoint、Arthas、Scouter等字节码插桩监控工具，对接口进行耗时分析，找出接口调用链路中耗时多的位置进行优化。1、消费端处理不过来，导致任务队列任务积压，也可能导致服务CPU内存飙升告警，比如JOB任务调度平台，MQ任务，Kafka任务积压。4、事后复盘，分析任务的消费为啥慢，可能有慢SQL，或者业务确实处理流程长比较慢，可以适当减缓生产任务的速度。2、优化的方式主要比如：多级缓存，慢SQL优化，批量查询，减小长事务，异步处理等。2、增加监控告警，出现任务积压通知相关人员。
【记某次线上消息积压问题排查及解决方案】
jike11231的博客
07-20 212
某版本需求，代码处理逻辑错误，导致配置新增服务范围扩大，造成消息成百倍增长，突增的消息通道部分拥堵。新增的服务会不断重试并重推消息，造成更严重的任务拥堵，无法及时消费，数据库压力增大，SQL执行变慢，导致核心业务受阻。
[线上问题排查]MQ消息队列消息堆积问题排查和解决思路
sinat_53467514的博客
07-21 914
当订单系统突发流量导致消息积压时，作者先后尝试了增加消费者、优化消费逻辑和转移存储消息三种方案，最终通过将积压消息暂存数据库再异步处理的方式解决问题。文章指出消息积压会导致CPU飙升，并提出增加消费者、优化消费逻辑、调整重试策略等通用解决方案。建议在促销活动前进行全链路压测，提前发现系统瓶颈并优化资源分配。
MQ消息积压解决方案
qq_45399013的博客
01-14 1007
当消息队列（MQ）中的消息出现积压时，通常意味着消费者处理消息的速度低于生产者发送消息的速度。
MQ那点破事，消息丢失、重复消费、消费顺序、堆积、事务、高可用....
公众号：微观技术
12-19 6055
大家好，我是 Tom哥~马上要开启国庆小长假了，祝大家节日快乐，吃喝玩乐走起~为了便于大家查找问题，了解全貌，整理个目录，我们可以快速全局了解关于消息队列，面试官一般会问哪些问题。本篇文章的目录：消息队列的应用场景？答案：1、异步处理  2、流量削峰填谷  3、应用解耦  4、消息通讯异步处理。将一个请求链路中的非核心流程，拆分出来，异步处理，减少主流程链路的处理逻辑，缩短RT，提升吞吐量。如：注册新用户发短信通知。削峰填谷。避免流量暴涨，打垮下游系统，前面会加个消息队列，平滑
Kafka服务端NIO操作原理解析
最新发布
liangsheng_g的专栏
08-05 509
Kafka服务端NIO操作解析：Kafka利用Java NIO实现高性能网络通信，核心是通过Selector监听多个Channel事件（连接、读写）。服务端流程包括：创建ServerSocketChannel并绑定端口，设置为非阻塞模式，注册到Selector监听ACCEPT事件；当客户端连接时，创建SocketChannel并注册READ事件；通过ByteBuffer处理数据读写。相比BIO，NIO能单线程处理大量连接，显著提升吞吐量。Kafka在此基础上实现了更高效的自定义网络层，但基本原理与此类似。本
八股——Kafka相关
wuxuanok的博客
08-04 696
消息队列核心作用与Kafka架构解析 摘要： 消息队列主要实现系统解耦、异步通信和流量削峰三大功能。Kafka作为高性能消息队列，其集群架构包含生产者、Broker集群（含Leader/Follower副本）和消费者组。Kafka通过分区顺序I/O、零拷贝技术和页缓存优化实现超高吞吐，根本原因在于其仅进行两次数据拷贝（优于RocketMQ的三次）。消息可靠性通过生产者ACK确认、Broker副本同步和消费者手动提交三重保障。顺序消费则需依赖分区机制，通过相同Key确保消息进入同一分区，并由单线程消费该分区实
Apache Kafka核心组件详解
算法小生
07-30 966
Apache Kafka 的核心组件——Broker、Topic、Partition、Producer、Consumer、Consumer Group、Zookeeper（传统模式）、KRaft（新模式）、Offset、Replication 和 Controller——共同构成了一个高效、可靠的分布式消息系统。KRaft 模式的引入标志着 Kafka 架构的重大升级，通过移除 Zookeeper 依赖，简化了部署和运维，同时显著提升了性能和扩展性。
Kafka 是什么？
专注于技术分享
08-03 469
Kafka 是一个开源的分布式事件流处理平台。Kafka 的设计目标是为处理实时数据流提供一个统一的、高吞吐量、低延迟的平台。从本质上讲，可以将 Kafka 理解为一个高度可靠且可扩展的“日志”或“记录簿”，用于记录在不同系统和应用程序之间发生的“事件”。凭借其高性能和可扩展性，Kafka 被广泛应用于各种场景，超过 80% 的财富 500 强公司都在使用它。总而言之，Kafka 不仅仅是一个消息队列，它更是一个功能强大的分布式事件流平台，为构建数据驱动的实时应用程序提供了坚实的基础。
kafka 是一个怎样的系统？是消息队列（MQ）还是一个分布式流处理平台？
专注于技术分享
08-03 505
你把信投进去，收信人取走信件后，信箱就空了。它的主要功能是“传递”。新的记录（事件）被源源不断地添加进来，并且按照时间顺序整理归档（持久化日志）。任何有权限的人（消费者）都可以随时来查阅这些档案（非破坏性读取）。张三可以来查阅昨天的档案，李四可以同时来查阅上周的档案（多消费者独立消费）。图书馆还提供了复印机（Kafka Connect）和阅览室/研究工具（Kafka Streams），让你不仅能查阅，还能在馆内直接对这些档案进行处理和分析。因此，
Kafka——怎么重设消费者组位移？
从知识输入到知识输出
08-03 653
Kafka——怎么重设消费者组位移？深度解析 Kafka 消费者组位移重置：策略、实现与最佳实践
Mq消息积压怎么处理
03-16
嗯，用户问的是如何处理MQ消息积压的问题，我需要仔细想想该怎么回答。首先，我得回忆一下常见的消息积压原因和处理方法。消息积压通常出现在生产速度超过消费速度的时候，可能有很多原因，比如消费者处理能力不足、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WannaRunning

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值