lssffy的博客

Kafka 通过acks=all、多副本、手动提交确保消息不丢失，通过事务和实现 Exactly-Once。金融交易系统实现 P99 延迟 40ms、QPS 12 万。不丢失acks=all，多副本。：事务生产者。优化：批处理、异步提交。监控Kafka 是高可靠消息系统的核心，未来将在云原生和 AI 下演进。字数：约 5100 字（含代码）。如需调整，请告知！Kafka 通过acks=all、多副本、手动提交确保消息不丢失，通过事务和实现 Exactly-Once。

Apache Kafka是一个分布式流处理平台，擅长处理高吞吐量、容错的实时数据流。高吞吐量：支持每秒百万级消息。低延迟：毫秒级消息传递。可扩展性：分布式架构，支持水平扩展。持久化：消息存储于磁盘，支持回溯。容错：通过副本机制保障高可用。日志分析：实时收集和处理服务器日志。实时推荐：电商平台个性化推荐。物联网：处理传感器数据流。事件驱动：微服务间异步通信。Java通过Spring Kafka、Kafka Streams和云原生技术实现实时数据流处理，显著提升性能和稳定性。

Apache Kafka 是一个开源的分布式流处理平台，最初由 LinkedIn 开发，于 2011 年开源，现由 Apache 软件基金会维护。Kafka 设计为高吞吐、低延迟的发布-订阅消息系统，适用于处理大规模、实时的数据流。相比传统消息队列（如 RabbitMQ、ActiveMQ），Kafka 强调持久化存储、水平扩展和流处理能力，常被用作数据管道、日志聚合和事件溯源的骨干。是一个高性能、分布式的流处理平台，适合实时数据管道、事件驱动架构和日志聚合。核心特性包括高吞吐、低延迟和持久化存储。

零拷贝（Zero-Copy）是一种操作系统层面的优化技术，旨在减少数据在用户态和内核态之间的拷贝次数，以及 CPU 的直接参与，从而提升 I/O 操作的效率。传统 I/O 操作涉及多次数据拷贝，而零拷贝通过直接在内核空间传输数据，显著减少了开销。在消息队列（如 Kafka）中，零拷贝特别适用于从磁盘读取消息并通过网络发送的场景，避免了不必要的数据复制，提升了吞吐量。Kafka 的零拷贝原理基于操作系统的sendfile技术，通过减少 CPU 拷贝和上下文切换，实现从磁盘到网络的高效传输。

Kafka 消费者负责从 Kafka 的分区中读取消息。消费者可以独立工作，也可以以消费者组（Consumer Group）的形式进行消费。在消费者组中，Kafka 会确保每个分区仅被一个消费者消费，以防止数据重复消费。消费者组的分区分配是动态的，如果消费者加入或离开消费者组，Kafka 会进行重平衡（Rebalance）以重新分配分区。了解消费者的工作状态对于监控 Kafka 系统的健康和确保消息消费的正确性至关重要。

重平衡（Rebalance）是 Kafka 在消费者组内部重新分配分区（Partition）的过程。Kafka 的消费者组是一个逻辑概念，它允许多个消费者实例（Consumer）共同消费一个或多个主题（Topic）的分区。每个分区只能被一个消费者组中的一个消费者消费。因此，重平衡的目的是确保分区在消费者组中的消费者之间合理分配。Kafka 提供了多种分区分配策略，但在某些业务场景中，开发者可以根据需求实现自定义的分区分配策略，确保分区分配的灵活性和均衡性。// 实现自定义分区分配策略@Override。