`
kfcman
  • 浏览: 395532 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Kafka命令行常用命令说明

 
阅读更多

基于0.8.0版本。

##查看topic分布情况 kafka-list-topic.sh

bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况)

bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --topic test (查看test的分区情况)

其实kafka-list-topic.sh里面就一句 

exec $(dirname $0)/kafka-run-class.sh kafka.admin.ListTopicCommand $@ 
实际是通过

kafka-run-class.sh脚本执行的包kafka.admin下面的类

##创建TOPIC  kafka -create-topic.sh  ,

bin/ kafka -create-topic.sh    --replica 2 --partition 8 --topic test    --zookeeper 192.168.197.170:2181,192.168.197.171:2181

创建名为test的topic, 8个分区分别存放数据,数据备份总共2份

bin/ kafka -create-topic.sh    --replica 1 --partition 1 --topic test2    --zookeeper 192.168.197.170:2181,192.168.197.171:2181

结果 topic: test2 partition: 0 leader: 170 replicas: 170 isr: 170

##重新分配分区 kafka-reassign-partitions.sh

这个命令可以分区指定到想要的--broker-list上

bin/kafka-reassign-partitions.sh --topics-to-move-json-file topics-to-move.json --broker-list "171" --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --execute 

cat topic-to-move.json

{"topics":

     [{"topic": "test2"}],

     "version":1

}

##为Topic增加 partition数目

bin/kafka-add-partitions.sh --topic test --partition 2   --zookeeper  192.168.197.170:2181,192.168.197.171:2181 (为topic test增加2个分区)

##控制台接收消息

bin/ kafka -console-consumer.sh --zookeeper  192.168.197.170:2181,192.168.197.171:2181  --from-beginning --topic test

##控制台发送消息

bin/kafka-console-producer.sh --broker-list  192.168.197.170:9092,192.168.197.171: 9092     --topic test 

##删除topic,慎用,只会删除zookeeper中的元数据,消息文件须手动删除

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic test666 --zookeeper 192.168.197.170:2181 ,192.168.197.171:2181

##查看topic分布情况 kafka-list-topic.sh

bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况)

bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --topic test (查看test的分区情况)

其实kafka-list-topic.sh里面就一句 

exec $(dirname $0)/kafka-run-class.sh kafka.admin.ListTopicCommand $@ 
实际是通过

kafka-run-class.sh脚本执行的包kafka.admin下面的类

##创建TOPIC  kafka -create-topic.sh  ,

bin/ kafka -create-topic.sh    --replica 3 --partition 8 --topic test    --zookeeper 192.168.197.170:2181,192.168.197.171:2181

创建名为test的topic, 8个分区分别存放数据,数据备份总共3份

bin/ kafka -create-topic.sh    --replica 1 --partition 1 --topic test2    --zookeeper 192.168.197.170:2181,192.168.197.171:2181

结果 topic: test2 partition: 0 leader: 170 replicas: 170 isr: 170

##重新分配分区 kafka-reassign-partitions.sh

这个命令可以分区指定到想要的--broker-list上

bin/kafka-reassign-partitions.sh --topics-to-move-json-file topics-to-move.json --broker-list "171" --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --execute 

cat topic-to-move.json

{"topics":

     [{"topic": "test2"}],

     "version":1

}


##为Topic增加 partition数  kafka-add-partitions.sh

bin/kafka-add-partitions.sh --topic test --partition 2   --zookeeper  192.168.197.170:2181,192.168.197.171:2181 (为topic test增加2个分区)

##控制台接收消息

bin/ kafka -console-consumer.sh --zookeeper  192.168.197.170:2181,192.168.197.171:2181  --from-beginning --topic test

##控制台发送消息

bin/kafka-console-producer.sh --broker-list  192.168.197.170:9092,192.168.197.171: 9092     --topic test 

##删除topic,慎用,只会删除zookeeper中的元数据,消息文件须手动删除

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic test666 --zookeeper 192.168.197.170:2181 ,192.168.197.171:2181

分享到:
评论

相关推荐

    kafka3.2常用命令

    ### Kafka 3.2 常用命令详解 #### 一、启动 ZooKeeper 服务 在启动 Kafka 之前,必须先启动 ZooKeeper 服务。ZooKeeper 为 Kafka 提供了集群协调服务。 ##### 操作步骤: 1. **打开命令行窗口**: - 打开 cmd ...

    kafka常用的基本命令行

    以下是一些常见的Kafka命令行工具及其用途: 1. **启动和停止Kafka服务** - `bin/zookeeper-server-start.sh config/zookeeper.properties`: 启动Zookeeper服务,Kafka依赖Zookeeper进行集群协调。 - `bin/kafka-...

    Kafka 常用命令行详细介绍及整理

    以下是对 Kafka 常用命令行的详细说明: 1. **查看 Topic 详细信息**: 使用 `kafka-topics.sh` 命令行工具,配合 `-zookeeper` 参数指定 ZooKeeper 地址,`-describe` 参数来获取 Topic 的详细信息,例如: ```...

    Kafka的一些常用功能点

    在Kafka中,你可以使用命令行工具`kafka-topics.sh`来创建Topic,指定其分区数量、副本数量等参数。例如,`--create --topic my-topic --partitions 3 --replication-factor 2`将创建一个名为“my-topic”的Topic,...

    kafka基本指令

    #### 三、Kafka常用操作命令 Kafka提供了丰富的命令行工具来管理和操作Topic。 ##### 1. 查看当前服务器中的所有Topic 可以通过`kafka-topics.sh`命令来查看当前服务器上的所有Topic: ```bash kafka-topics.sh ...

    大数据Kafka架构原理.pdf

    4. **Kafka常用命令和参数**: Kafka提供了丰富的命令行工具,用于管理Topics、Producers、Consumers等。例如: - `kafka-topics.sh`:创建、查看、修改Topic。 - `kafka-console-producer.sh`:启动命令行...

    CENTOS+KAFKA+GOLANG

    ##### 1.3 常用命令总结 - **文件/文件夹复制**:`cp <source> <destination>` - **解压文件**:`tar -zxvf <filename>` - **移动文件或文件夹**:`mv <source> <destination>` - **切换目录**:`cd <directory>` ...

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 ...

    聊聊高并发高可用那些事(Kafka、Redis、MySQL)

    8. **命令行操作**:如`kafka-topics.sh`创建和管理主题,`kafka-console-producer.sh`发送消息。 9. **生产者与消费者代码示例**:展示如何编程与Kafka交互。 10. **Kafka Tool**:Windows下的可视化工具,方便...

    xshell-linux命令

    本文将详细介绍 xshell 中的常用命令,包括文件管理、目录操作、文件查看、搜索和编辑等方面。 一、文件管理命令 1. 命令 ls:用于列出文件和目录,包括隐藏文件。例如,ls -la 命令可以显示当前目录下的所有文件...

    大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

    HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区...

    sh代码-Shell 脚本方式启动Kafka服务

    3. **添加Kafka的bin目录到PATH**:这样我们可以在脚本中直接调用Kafka的命令行工具。 ```bash export PATH=$PATH:$KAFKA_HOME/bin ``` 4. **启动Zookeeper**:Kafka依赖Zookeeper进行集群管理和元数据存储,...

    OpenJDK8U-jdk-x64-linux-hotspot-8u212b03.zip

    10. **消费与生产消息**:你可以使用Kafka的命令行工具来测试生产者和消费者,或者通过编写Java、Python等语言的程序来操作Kafka。 通过以上步骤,你将在Linux系统上成功部署了Kafka服务,并使用OpenJDK 8运行它。...

    flume kafak实验报告.docx

    在大数据实时处理领域,Flume、Kafka 和 Spark Streaming 是常用的数据采集、传输与处理工具。本实验报告详细阐述了如何将这三个组件结合使用,构建一个高效的数据流处理系统。 一、Flume 与 Spark Streaming 的...

    pycharm中执行window环境python脚本多条shell命令

    值得注意的是,在Windows命令行中,逻辑运算符`&&`、`||`被用来控制命令之间的顺序执行,而不是用于表达式求值。 #### 示例代码分析 在给出的部分内容中,使用了`os.popen`函数来执行shell命令。这里举一个具体的...

    卡夫卡控制台聊天

    8. **Kafka命令行工具**:Kafka提供了一系列的命令行工具,如`kafka-console-producer.sh`和`kafka-console-consumer.sh`,用于在命令行界面与Kafka集群交互,生产和消费消息。 9. **Docker网络**:在Docker ...

    Kafka-Tail-Producer:此应用程序用于通过 Linux tail cmd 从指定的日志文件中收集日志数据

    `tail`是Linux系统中一个常用的命令行工具,它用于查看文件的尾部内容。在Kafka-Tail-Producer中,`tail -f`参数被用来持续监控日志文件,当文件有新的内容追加时,`tail`会立即显示出来,非常适合实时数据监控。 #...

Global site tag (gtag.js) - Google Analytics