`
kfcman
  • 浏览: 395525 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

kafka0.8.1.1彻底删除topic并清空log内容

 
阅读更多

kafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic,以前看过网上一些删除命令不过只是在zookeeper注销信息而已,但是实际的日志内容还是保存在kafka log中,因为个人需要所以慢慢琢磨了方法彻底清除topic(ps:kafka0.8.2好像直接支持直接删除,不过现在还是beta版 )。

本人机器环境如下:

Kafka目录:/usr/local/kafka_2.10-0.8.1.1

日志保存目录log.dirs:/data1/kafka/log/

删除的topic名字:zitest2

(1) 从zookeerer删除信息:

/usr/local/kafka_2.10-0.8.1.1/bin/kafka-run-class.shkafka.admin.DeleteTopicCommand --zookeeper 10.12.0.91:2181,10.12.0.92:2181,10.12.0.93:2181/kafka--topic zitest2

 

成功后返回信息:deletion succeeded!

(2) JPS查看kill掉QuorumPeerMain和Kafka进程

(3)从log.dirs目录删除文件,可以看到多个子目录名字如zitest2-0,zitest2-1…zitest2-n(就是你topic的partition个数)

 

rm  –fr  zitest2-0……zitest2-n

(4)  修改日志目录的recovery-point-offset-checkpoint和replication-offset-checkpoint文件(要小心删除,否则待会kafka不能正常启动起来)

 

replication-offset-checkpoint格式如下:

  0

  4(partition总数)

  zitest2 0 0

  zitest2  3 0

  hehe 0 0

  hehe 1 0

修改后如下:

  0

  2(partition总数)

  hehe 0 0

  hehe 1 0

把含有zitest2行全部去掉,并且把partition总数修改为减去zitest2的partition的剩余数目,同理recovery-point-offset-checkpoint也是这样修改。

完成后就可以正常启动zookeeper和kafka。

分享到:
评论

相关推荐

    kafka-2.10-0.8.1.1

    kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1...

    kafka0.8.1.1+storm0.9.1开发整合(亲验)

    storm0.9.1+kafka0.8.1.1亲测可以跑起来的工程,有些乱,我后续继续整理 kafka0.8Storm0.9.1Optr/com.ks.topoloty.CounterTopology.java是启动主文件 Kafka0.8Optr2/SendMessage.java是测试文件 可以在kafka0.8Storm...

    kafka-0.8.1.1-src.tgz

    《Apache Kafka 0.8.1.1 源代码解析与应用实践》 Apache Kafka 是一个开源流处理平台,由 LinkedIn 开发并贡献给 Apache 软件基金会。Kafka 的核心特性包括高吞吐量、分布式、持久化、容错性以及支持实时数据流。...

    kafka-0.8.1.1总结1

    【标题】:“Kafka 0.8.1.1 知识详解” 【描述】:本文将深入探讨 Apache Kafka 的0.8.1.1版本,解析其核心概念、配置细节以及工作流程。 【标签】:“Kafka” --- **一、基础篇** 1. **开篇说明** Kafka 是一...

    kafka_2.9.2-0.8.1.1.jar

    java运行依赖jar包

    Kafka-0.8.1.1

    kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中。

    kafka_2.9.2-0.8.2.1.tgz

    《深入理解Kafka集群:基于kafka_2.9.2-0.8.2.1.tgz的解析》 Kafka,一个由LinkedIn开发并开源的分布式流处理平台,因其高效、可扩展和容错性强的特点,在大数据领域中扮演着重要的角色。本文将基于“kafka_2.9.2-...

    kafka_2.10-0.8.2.1.tgz

    本文将详细介绍`kafka_2.10-0.8.2.1.tgz`安装包的内容及其在大数据环境中的应用。 一、Kafka概述 Kafka的核心概念包括生产者、消费者、主题(Topic)和分区(Partition)。生产者负责发布消息到主题,消费者则订阅...

    kafka_2.11-0.8.2.2

    《Apache Kafka 0.8.2.2:分布式流处理平台详解》 Apache Kafka 是一个高性能、分布式的流处理平台,被广泛应用于大数据领域。Kafka 的版本号 "kafka_2.11-0.8.2.2" 表示这是一个基于 Scala 2.11 的 0.8.2.2 版本,...

    kafka_2.9.1-0.8.2.2.tgz

    3. **kafka_2.9.1-0.8.2.2.tgz 包内容**: - **bin目录**:包含Kafka的可执行脚本,如启动/停止Kafka服务器的脚本。 - **config目录**:存放配置文件,如server.properties定义了Kafka服务器的配置。 - **lib目录...

    Kafka0.8.2.1删除topic逻辑.docx

    ### Kafka 0.8.2.1 删除 Topic 的逻辑 #### 前提条件 在开始探讨删除 Topic 的逻辑之前,首先要确保 Kafka Broker 已经正确配置了删除 Topic 的功能。这一步非常重要,因为如果不开启相应的配置,后续的删除操作将...

    KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel

    标题中的“KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel”指的是Apache Kafka的一个特定版本的软件包,适用于Red Hat Enterprise Linux 7(RHEL 7)系统。这个版本是3.1.1,并且可能是某个特定发行版或修补版的1.3.1.1.p0.2...

    kafka_2.10-0.8.2.0

    《Kafka 0.8.2.0在Java分布式日志分析中的应用》 Kafka是Apache软件基金会的一个开源消息系统,它最初由LinkedIn开发,后来成为了一个独立的开源项目。Kafka以其高吞吐量、低延迟以及容错性而闻名,常用于实时数据...

    kafka_2.10-0.8.2.0.tgz

    1.1 生产者(Producer):Kafka中的生产者是负责将数据发布到主题(Topic)的应用程序。0.8.2.0版本引入了异步发送API,提高了生产速率。 1.2 消费者(Consumer):消费者从主题订阅消息,可以是单个消费者或消费者...

    kafka_2.11-0.10.1.1.tgz

    《Kafka 2.11-0.10.1.1:分布式消息系统的深度剖析》 Apache Kafka,一个由LinkedIn开发并贡献给Apache软件基金会的开源流处理平台,已经成为了大数据领域中不可或缺的一部分。本篇文章将深入探讨Kafka 2.11-0.10....

    kafka_2.11-0.8.2.1.jar

    kafka_2.11-0.8.2.1.jar

    kafka-consumer-producer:卡夫卡0.8.2.2的简单示例

    标题"Kafka-consumer-producer:卡夫卡0.8.2.2的简单示例"表明我们将讨论的是Apache Kafka的一个基本用例,专注于其消费者和生产者的实现,使用的版本是0.8.2.2。Kafka是一个分布式流处理平台,常用于构建实时数据...

    kafka-clients-0.10.1.1-API文档-中文版.zip

    赠送jar包:kafka-clients-0.10.1.1.jar; 赠送原API文档:kafka-clients-0.10.1.1-javadoc.jar; 赠送源代码:kafka-clients-0.10.1.1-sources.jar; 赠送Maven依赖信息文件:kafka-clients-0.10.1.1.pom; 包含...

    kafka-2.10-0.8.2.2.jar

    this is a jar of kafka-2.10-0.8.2.2

Global site tag (gtag.js) - Google Analytics