ELK集群部署(六)之Kafka操作

最新推荐文章于 2025-01-03 11:51:47 发布

攻城狮JasonLong

最新推荐文章于 2025-01-03 11:51:47 发布

阅读量267

点赞数

CC 4.0 BY-SA版权

分类专栏： ELK 文章标签： kafka elk 分布式

本文链接：https://blog.csdn.net/weixin_58400622/article/details/125569127

ELK 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了Kafka的基本操作流程，包括创建、查看、发送及接收消息等步骤，并提供了详细的命令行示例。此外还涉及了如何调整配置以解决运行过程中出现的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka操作

1.创建topic

/usr/local/src/kafka_2.12-3.2.0/bin/kafka-topics.sh --create --bootstrap-server 192.168.56.103:9092 --replication-factor 1 --partitions 1 --topic test

遇到报错OpenJDK 64-Bit Server VM warning: If the number of processors is
expected to increase from one, then you should configure the number of
parallel GC threads appropriately using -XX:ParallelGCThreads=N
Exception in thread “main” joptsimple.UnrecognizedOptionException:
zookeeper is not a recognized option

需要如下修改，主要是调整CPU核数为2

先把cpu调到2，如果不行，就改下面的配置

vi /usr/local/src/kafka_2.12-3.2.0/bin/kafka-server-start.sh
下面这段要添加-XX:ParallelGCThreads=1
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -XX:ParallelGCThreads=1"
fi

vi /usr/local/src/kafka_2.12-3.2.0/bin/zookeeper-server-start.sh
下面这段要添加-XX:ParallelGCThreads=1
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M -XX:ParallelGCThreads=1"
fi

需要重启kafka生效
systemctl stop kafka
systemctl restart zookeeper
systemctl start kafka

2.查看主题

/usr/local/src/kafka_2.12-3.2.0/bin/kafka-topics.sh --list --bootstrap-server 192.168.56.103:9092

3.发送消息

/usr/local/src/kafka_2.12-3.2.0/bin/kafka-console-producer.sh --broker-list 192.168.56.103:9092 --topic test
> hello world
Ctrl + c 退出

4.接收消息

/usr/local/src/kafka_2.12-3.2.0/bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.103:9092 --topic test --from-beginning

5.查看特定主题的详细信息

/usr/local/src/kafka_2.12-3.2.0/bin/kafka-topics.sh --bootstrap-server 192.168.56.103:9092 --describe --topic test
Topic: test    TopicId: Cao8WSKZS8-Gj-sFnmS8Ag PartitionCount: 1       ReplicationFactor: 1    Configs: segment.bytes=1073741824
        Topic: test    Partition: 0    Leader: 0       Replicas: 0     Isr: 0

从中可以看到，test主题分了1个区，复制因子是1

6.删除主题

/usr/local/src/kafka_2.12-3.2.0/bin/kafka-topics.sh --bootstrap-server 192.168.56.103:9092 --delete  --topic test