【kafka实战】05 Kafka消费者消费消息过程源码剖析

最新推荐文章于 2025-06-02 11:46:02 发布

苏师兄编程

最新推荐文章于 2025-06-02 11:46:02 发布

阅读量1.4k

点赞数 10

CC 4.0 BY-SA版权

分类专栏： kafak实战文章标签： kafka linq 分布式

本文链接：https://blog.csdn.net/suyuaidan/article/details/145474132

1. 概述

Kafka消费者（Consumer）是Kafka系统中负责从Kafka集群中拉取消息的客户端组件。消费者消费消息的过程涉及多个步骤，包括消费者组的协调、分区分配、消息拉取、消息处理等。本文将深入剖析Kafka消费者消费消息的源码，并结合相关原理图进行讲解。

以下是一个使用 Java 编写的 KafkaConsumer 的示例。在这个示例中，我们将创建一个简单的 Kafka 消费者，连接到 Kafka 集群，订阅一个主题，并消费该主题中的消息。

1.1 消费者代码使用示例

已经安装并启动了 Kafka 集群。
你已经添加了 Kafka 客户端依赖到你的项目中。如果你使用 Maven，可以在 pom.xml 中添加以下依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.6.0</version>
</dependency>

示例代码

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
   
   
    private static final String TOPIC_NAME = "test-topic";
    private static final String BOOTSTRAP_SERVERS = "localhost:9092";
    private static final String GROUP_ID = "test-group";

    public static void main(String[] args) {
   
   
        // 配置消费者属性
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS)