Kafka-Kafka基本原理与集群快速搭建(实践)

2023-12-16 04:49:04

Kafka单机搭建

下载Kafka??Apache Download Mirrors

?解压

 tar -zxvf kafka_2.12-3.4.0.tgz  -C /usr/local/src/software/kafka

kafka内部bin目录下有个内置的zookeeper(用于单机)

启动zookeeper(在后台启动)

nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

?启动kafka(后台启动)

nohup bin/kafka-server-start.sh  config/server.properties &

查看创建topic的相关帮助

bin/kafka-topics.sh  --help

简单发送消息

创建topic
bin/kafka-topics.sh  --create --topic test --bootstrap-server localhost:9092

查看topic信息
 bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

查看生产者的相关命令
bin/kafka-console-producer.sh  --help

?生产者发送消息(指定topic)
bin/kafka-console-producer.sh  --bootstrap-server localhost:9092 --topic test

?发送消息

消费者消费实时消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

?查看消费者相关命令
bin/kafka-console-consumer.sh --help

?消费之前的消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test

?指定从哪里开始消费(partition指的是存储消息的实际队列)

如下:从partition 0 中的偏移量为4的记录开始消费

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --partition 0 --offset 4 --topic test
指定消费者组
#两个消费者实例属于同一个消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
#这个消费者实例属于不同的消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test
查看消费者组的消费进度详情
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

kafka集群搭建

文章来源:https://blog.csdn.net/weixin_43874650/article/details/135026353
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。