在root的用户下
1):前提 安装JDK环境,设置JAVA环境变量
2):下载kafka,命令:wget http://mirrors.shuosc.org/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz
3):下载zookeeper,命令:wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
4):然后去解压zookeeper包,我把zookeeper-3.4.10文件夹名称改为了zookeeper ,首先找到conf的文件夹,然后备份一份zoo_sample.cfg文件 ,备份名为zoo.cfg
命令:cp zoo_sample.cfg zoo.cfg
5):打开zoo.cfg的文件
命 令 :vim zoo.cfg
dataDir=/tmp/zookeeper (虽然给出这个路径给你,但是系统并没有,要你自己创建的,你可以不按这个路径)
dataLogDir=/tmp/zookeeperlog (这是我另外夹的用来存放日志文件)
6):启动 zookeeper
root@debian8:/usr/local/zookeeper# 命令 : bin/zkServer.sh start
7)解压kafka的包,我把kafka_2.10-0.10.2.1文件夹名称改为了kafka,到config路径下找到 server.properties
找到log.dirs=/tmp/kafka-logs (跟刚刚zookeper一样创建)
listeners(所在机器ip地址)我这里是本地,不管它
8):启动kafka
命令:nohup bin/kafka-server-start.sh config/server.properties & > nohup.out
进程守护模式启动kafka
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
运行之后不管成功否它都会在你的kafka包下生成一个 nohup.out的文件
9): 查看是否成功了
新建一个topic
命令:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看 topic是否成功
命令:bin/kafka-topics.sh --list --zookeeper localhost:2181
10):把kafka的生产者启动来
命令 :bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
11):另开一个终端(创建新的),把消费者启动起来:
命令:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test —from-beginning
12):在生产者终端输入数据,消费者马上就会消费显示出来
分享到:
相关推荐
kubernetes 部署单机版Kafka、zookeeper
1、下载zookeeper安装包 2、安装zookeeper 3、服务启动 4、检查状态 5、连接测试 1、下载kafka安装包 2、修改文件server.pr
zookeeper linux 搭建流程,zookeeper linux 搭建流程zookeeper linux 搭建流程zookeeper linux 搭建流程。
kafka集群类型: single broker(单节点单boker集群,亦即kafka只启一个broker消息中间件服务,producer、consumer、broker均通过zookeeper集群交换消息,具体可参考:http://exp-blog.com/2018/08/03/pid-2187/
kafka分布式集群多服务器和单机部署,需安装zookeeper环境,
docker部署kafka非常简单,只需要两条命令即可完成kafka服务器的部署。 docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e ...
Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 ...
1 安装Linux 3 1.1 安装wmware11 3 ...6 KAFKA安装 25 6.1 下载 25 6.2 安装 25 6.2.1 修改server.properties 25 6.2.2 配置参数说明 25 6.2.3 拷贝到其他的环境 26 6.2.4 启动 26 6.2.5 验证 26 6.2.6 基本命令 26
Kafka生产环境部署案例采用三个排序(orderer)服务、四个kafka、三个zookeeper和四个节点(peer)组成,共准备八台服务器,每台服务器对应的服务如下所示: kafka案例网络拓扑图如下: 一、基本环境搭建:关闭...
Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 Spark、Storm、Flink、HBase、Kafka、...
ZooKeeper本身可以以单机模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。 1、Zookeeper...
最起码, 你要会说个hadoop, hdfs, mapreduce, yarn, kafka, spark, zookeeper, neo4j吧, 这些都是装逼的必备技能。 关于spark的详细介绍, 网上一大堆, 搜搜便是, 下面, 我们来说单机版的spark的安装和简要使用...
Dubbo管理中心及及监控平台安装部署 Dubbo分布式服务模块划分(领域驱动) 基于Dubbo的分布式系统架构实战 Dubbo负载均衡策略分析 Dubbo服务调试之服务只订阅及服务只注册配置 Dubbo服务接口的设计原则(实战...
同时支持单机部署和分布式部署 提供简易的用户操作和性能监控界面,用户可以监控实例性能,连续消息的数量,并管理延迟消息等 路线图 架构设计 详细架构设计见文档 环境搭建 支持系统 Linux Red Hat(版本> = 4.8.5...
一 服务启动 此项目集成了:Feign,Spring Cloud Bus,hystrix,swagger-ui,zuul-filter,配置中心功能 1)安装rabbitMQ 2)启动cloud—eureka :此时可访问 localhost:8761 3)启动 cloud-config 此处为配置中心 ...
6)Stream procressing(流式计算) Storm(实时数据处理分析) Kafka(分布式发布订阅消息系统) 拖放可视化设计,开发,部署和管理流式数据分析应⽤程序 进⾏事件关联,上下⽂衔接,复杂模式匹配,分析聚合以及创建警报/...
DDMQ 是滴滴出行架构部基于 Apache RocketMQ...carrera-docker 提供单机版的 DDMQ 镜像,方便部署和使用。 外部依赖: 64bit OS, Linux/Unix/Mac 64bit JDK 1.8+ Maven 3.2.x MySQL 5.7.x Tomcat 7/8/9 Zookeeper 3.4.x