`
hitgnu
  • 浏览: 92262 次
  • 性别: Icon_minigender_1
  • 来自: 苏州-->上海
社区版块
存档分类
最新评论

Apache Storm安装简明手册

阅读更多

一、JDK安装:
1.    下载JDK(版本7):http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm
2.    安装
    sudo rpm -ivh jdk-7u71-linux-x64.rpm
    sudo vi /etc/profile   

export JAVA_HOME=/usr/java/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    source /etc/profile
二、Zookeeper安装
1.    下载并解压安装Zookeeper:http://zookeeper.apache.org/releases.html
2.    Zookeeper集群部署:
根据Zookeeper集群节点情况,在conf目录下创建Zookeeper配置文件zoo.cfg(示例如下)

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper-3.4.6/data
clientPort=2181

server.1=ip1:2888:3888
server.2=ip2:2888:3888
server.3=ip3:2888:3888

 
 
三、storm 0.9.3安装
1.    下载安装包:http://www.apache.org/dyn/closer.cgi/storm/apache-storm-0.9.3/apache-storm-0.9.3.tar.gz
2.    解压缩安装包到安装目录
3.    修改conf目录下的配置文件storm.yaml
storm.yaml示例

storm.zookeeper.servers:
  - "zk-host1"
  - "zk-host2"
  - "zk-host3"
storm.zookeeper.port: 2181
storm.zookeeper.root: "/storm-0.9.3"
storm.local.dir: "/opt/apache-storm-0.9.3/storm-local"
storm.cluster.mode: distributed

storm.messaging.netty.server_worker_threads: 1
storm.messaging.netty.client_worker_threads: 1
storm.messaging.transport: "backtype.storm.messaging.netty.Context"
storm.messaging.netty.buffer_size: 52428800
storm.messaging.netty.max_retries: 10
storm.messaging.netty.min_wait_ms: 5000
storm.messaging.netty.max_wait_ms: 10000

logviewer.port: 80
logviewer.appender.name: "A1"

nimbus.host: "host-ip1"

worker.childopts: "-Xmx1024m -Xms1024m -Xmn500m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:NewSize=128m -XX:CMSInitiatingOccupancyFraction=70 -XX:-CMSConcurrentMTEnabled -Djava.net.preferIPv4Stack=true"
supervisor.slots.ports:
  - 6700
  - 6701
  - 6702

topology.debug: false
topology.executor.receive.buffer.size: 16384
topology.executor.send.buffer.size: 16384

 
注:如果与其他storm集群共用zk,请确认不同的集群使用各自不同的“storm.zookeeper.root”设置,默认为:"/storm"
4.    启动
在nimbus机器执行(cd $STORM_HOME)

bin/storm nimbus >/dev/null 2>&1 &
bin/storm ui >/dev/null 2>&1 &

 
在supervisor机器执行(cd $STORM_HOME):

bin/storm supervisor> /dev/null 2>&1 &
bin/storm logviewer > /dev/null 2>&1 &

 
 

分享到:
评论

相关推荐

    Apache Storm(apache-storm-2.3.0.tar.gz)

    Apache Storm(apache-storm-2.3.0.tar.gz) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与任何编程语言...

    Apache Storm(apache-storm-2.3.0-src.tar.gz 源码)

    Apache Storm(apache-storm-2.3.0-src.tar.gz 源码) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与...

    Apache Storm(apache-storm-2.3.0.zip)

    Apache Storm(apache-storm-2.3.0.zip) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与任何编程语言...

    Apache Storm(apache-storm-2.3.0-src.zip 源码)

    Apache Storm(apache-storm-2.3.0-src.zip 源码) 是一个免费的开源分布式实时计算系统。Apache Storm 可以轻松可靠地处理无限制的数据流,实时处理就像 Hadoop 进行批处理一样。Apache Storm 很简单,可以与任何...

    Apache Storm技术参考手册.docx

    Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。

    apache-storm-2.4.0.tar.gz.zip- Apache Storm 2.4.0 安装包

    文件名: apache-storm-2.4.0.tar.gz.zip 这是 Apache Storm 2.4.0 的安装包,Storm 是一个免费开源...这个安装包包含了所有你需要安装和运行 Apache Storm 2.4.0 的文件。请确保在下载后按照官方文档进行安装和配置。

    Mastering Apache Storm_Publishing at 2017.pdf

    Mastering Apache Storm_Publishing at 2017.pdf 非扫描版

    Apache Storm-0.8.1 API 参考文档 ( Html版 )

    Apache Storm-0.8.1 API 参考文档 ( Html版 ),0.9.1版的参考文档暂且还没出来,需要的同学赶紧下载哦

    storm-ui:Apache Storm 的用户界面

    主分支: ##包裹包战 mvn clean package -DskipTests=true -Dwarcp ./target/storm-ui.war $TOMCAT_HOME/webapps/包装罐 mvn clean package -DskipTests=truecp ./target/storm-ui-*.jar $STORM_HOME/external/...

    Apache中文手册免费下载

    Apache中文手册免费下载Apache中文手册免费下载Apache中文手册免费下载Apache中文手册免费下载Apache中文手册免费下载Apache中文手册免费下载Apache中文手册免费下载Apache中文手册免费下载Apache中文手册免费下载...

    apache-storm-2.1.0.zip

    Apache Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL...

    apache-storm-2.4.0.tar.gz

    帮助不能下载apache-storm-2.4.0.tar.gz的同学下载storm安装包

    apache-storm-0.9.5源码

    apache-storm-0.9.5源码

    Mantis在Apache下的安装手册

    Mantis在Apache下的安装手册 手册说明: Mantis是一个很优秀的缺陷管理工具,在国内有一定的应用,但相关的文档和资料比较匮乏,如有,也比较旧。所以,我把自己写的有关如何在Windows平台上,基于Apache2.2.4、...

    Apache2中文使用手册

    Apache2中文使用手册 Apache2中文使用手册 Apache2中文使用手册

    Apache2.2 for Linux安装手册

    Apache2.2 for Linux安装手册

    APACHE 2.2 中文参考手册

    APACHE 2.2 中文参考手册 APACHE 2.2 中文参考手册 APACHE 2.2 中文参考手册

    mastering apache storm

    storm是twitter提供的一个开源的流式数据处理平台,可以满足实时计算的需求,是工程技术人员需要掌握的一种软件。

    Apache Storm-0.9.1 API 参考文档

    Apache Storm-0.9.1 API 参考文档 ( Html版 ),需要的同学赶紧下载哦

    Apache Storm.pdf

    Apache storm基本介绍、主要组件、优势以及与Hadoop相比较。Apache storm是一个分布式的实时大数据处理系统。用于在容错和水平可拓展方法中处理大量数据。

Global site tag (gtag.js) - Google Analytics