单节点的伪分布式环境是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成。
4.2.1 安装Java
从Oracle官网下载JDK,建议下载JDK8及以上版本,如:
wget --no-check-certificate --no-cookie --header "Cookie:oraclelicense=accept-securebackup-cookie;" http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.rpm
下载完成后执行sudo rpm -ivh jdk-8u162-linux-x64.rpm命令进行安装,默认安装路径是/usr/java/jdk1.8.0_162,在/etc/profile文件中加入如下配置:
export JAVA_HOME=/usr/java/jdk1.8.0_162
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}
|
最后使用java -version命令验证Java是否安装成功。
4.2.2 安装ZooKeeper
Zookeeper是安装Kafka集群必要的组件,并且Kafka大量使用ZooKeeper来保存集群的元数据信息以及consumer位移信息(老版本)。虽然在伪分布式集群中直接使用Kafka自带的ZooKeeper可能更方便,但其实单独安装一个外部的ZooKeeper服务器同样很简单。
首先从ZooKeeper下载地址中https://www-us.apache.org/dist/zookeeper/stable/下载ZooKeeper二进制代码压缩包zookeeper-3.4.10.tar.gz,然后依次执行下面的命令进行安装:
tar -zxvf zookeeper-3.4.10.tar.gz
mv zookeeper-3.4.10.tar.gz zookeeper
mkdir -p /home/user/zk
cd zookeeper
|
之后编辑zookeeper/conf目录下的zoo.cfg文件,写入下列内容,然后保存zoo.cfg文件即可。
tickTime=2000
dataDir=/home/user/zk
clientPort=2181
|
在zookeeper主目录下执行如下命令启动ZooKeeper服务器:
4.2.3安装单节点Kafka集群
从Apache Kafka官网地址http://kafka.apache/org/downloads.html下载安装包,此处以kafka_2.11-1.0.0.tgz为例。
文件下载完成之后执行解压缩操作并创建保存Kafka数据的文件目录:
tar -zxvf kafka_2.11-1.0.0.tgz
mv kafka_2.11-1.0.0 kafka
mkdir -p /home/work/kafka/data-logs
cd kafka
|
打开config目录下的server.properties文件,修改下列配置:
log.dirs=/home/work/kafka/data-logs
|
通过下列命令启动Kafka broker:
bin/kafka-server-start.sh config/server.properties
|
如果想在后台运行Kafka broker,只需要在启动命令中加入-daemon:
bin/kafka-server-start.sh -daemon config/server.properties
|
分享到:
相关推荐
需要的环境支持:jdk8,zookeeper端口为2181,然后将此压缩包的module目录解压到/opt下并直接运行cluster-kafka.sh即可。 注意:端口不能被占用 主要相关文档: ...
kafka 分布式 window
kafka分布式集群搭建
伪分布式安装教程: Flume Hbase Spark Hive Kafka Sqoop zookeeper等分布式系统框架 备注:Hadoop安装教程当时忘记记录,后续也懒得弄,所以上传资料也暂无hadoop安装教程,尽请理解!!!!
仅适用于https://blog.csdn.net/m0_51197424/article/details/122457959辅助
Kafka是分布式的消息队列,作为云计算服务的基石,它广泛的应用在实时数据流方面,是实时数据处理的数据中枢,广泛应用在很多互联网企业,例如:linkedin,facebook,腾讯,百度,阿里等。实时数据流是现在互联网...
Kafka分布式集群安装部署.doc
环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_cluster 需要切换到指定的目录:命令行切换cd F:\liuzhiwen\cluster\...
本文是系列文章的第4篇,第一篇"第二篇第三篇第四篇第五篇第六篇《Kafka设计解析》系列上一篇《Kafka高性能架构之道——Kafka设计解析(六)》从宏观架构到具体实现分析了Kafka实现高性能的原理。本文介绍了Kafka...
windows下kafka_2.12-2.9.0.rar(含单机伪分布式配置)
KAFKA分布式消息系统 KAFKA分布式消息系统
妳那伊抹微笑_Flume+Kafka+Storm分布式环境整合Eclipse工程_20140714.rar 该文档与教程http://blog.csdn.net/u012185296/article/details/37762793配套使用的,主要讲的是Flume+Kafka+Storm的环境整合,并且全部都是...
ELK+FileBeat+Kafka分布式系统搭建图文教程,详细地记录了完整搭建的流程与步骤,可以帮助大家快速上手!
消息队列 Kafka 大数据 完全分布式 Hadoop
之前在实验室,采用maven方式编写的一个验证框架模型,读写分布式kafka数据,数据源可以有多种,实体文档或者RDMS. 对大数据分布式开发有兴趣朋友,可以看看。
#资源达人分享计划#
#资源达人分享计划#
主要为大家详细介绍了Linux下Kafka分布式集群安装教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
Kafka是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程...