`

Storm启动配置

 
阅读更多
一、安装Storm
    wget   http://www.apache.org/dyn/closer.lua/storm/apache-storm-1.0.3/apache-storm-1.0.3.tar.gz
    tar xzvf  ./apache-storm-1.0.3.tar.gz

二、新建data文件夹 mkdir data;查看目录:pwd
      为strom配置本地目录作准备。
      storm.local.dir: “/opt/ apache-storm-1.0.3 /data“【storm本地目录】

三、配置根目录conf/storm.yaml配置文件

注意配置字母前/冒号后,以空格开头:

最终配置如下:
引用

storm.zookeeper.servers:
- "master"
- "slave"

drpc.servers:
- "master"

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707

ui.port: 8081

storm.local.dir: “/opt/apache-storm-1.0.3/data"



3.1 配置zk服务器
master\slave与计算机的hostname对应。主机名的配置文件大多是/etc/hosts。
引用

例如:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1   localhost.localdomain localhost
192.168.1.195  debian.localdomain debian
一般情况下hosts的内容关于主机名(Hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
第一部份:网络IP地址。
第二部份:主机名.域名,注意主机名和域名之间有个半角的点。
第三部份:主机名(主机名别名) ,其实就是主机名。
当然每行也可以是两部份,就是主机IP地址和主机名;比如 192.168.1.195 master

引用

打开: storm.zookeeper.servers:
     - "master“
     - “slave“
打开: drpc.servers:
     - "master“


3.2  配置slot端口号
   supervisor.slots.ports:【slot端口号】提交top,每一个top有两个worker来工作,一个sport,一个blot,每个worker都会占用一个端口
 supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703
 - 6704
 - 6705
 - 6706
 - 6707


3.3 配置stormUI端口号
ui.port: 8081


3.4 配置storm本地目录
  创建目录:根目录apache-storm-1.0.3下data文件夹
    mkdir data;
    pwd查看目录路径
  增加配置文件目录路径:storm.local.dir: “/opt/apache-storm-1.0.3/data"

四、启动测试
Storm是一个快速失败(fail-fast)的系统,这意味着这些进程随时都可能因发生错误而停止。由于Storm的设计,所以它随时停止都是安全的,当进程重新启动时正确的恢复。这是为什么Storm保持进程无状态的原因-- 如果Nimbus或supervisors重新启动,正在运行的topologies是不受影响的。

1、先将配置好的storm,向各子节点各传一份。各子节点安装好storm所需插件。

2、配置好zookeeper中myid,启动zookeeper。

3、启动storm节点及UI,可用nohup挂到后台执行。“&”是后台的执行符,未有则命令行卡住不向下执行。
1)启动Nimbus
   在master机器下运行命令”bin/storm nimbus &”,检验配置是否错误。
2)启动Supervisor
   在每个worker机器下运行命令”bin/storm supervisor &”。Supervisor守护程序负责starting 和 stopping 那台机上的worker进程
3)启动UI
  运行master机器下的命令”bin/storm ui &”来运行Storm UI(你能从浏览器访问一个站点,它提供集群和topologies的诊断信息)。在你的浏览器中输入” http://{nimbus host}:8081”访问UI。
3)启动logviewer
  运行master机器下的命令”bin/storm logviewer &”查看工作日志。







分享到:
评论

相关推荐

    storm深入学习.pdf

    内容概要: • Storm安装  安装ZeroMQ  安装jzmq  安装Python2.7.2  安装storm  配置storm  启动storm  测试storm

    Storm实战常见问题及解决方案

    不然安装的java和ZK集群等就无法使用,尤其这个问题在我用shell写调度脚本去启动storm集群的时候就遇到过,如果没有将java的环境变量配置在/etc/.bashrc文件中,就会报一个错,这个问题在后面我会提到。记得刚刚接触...

    kafka-storm:通过storm打印kafka消息的测试环境和代码

    这是一个简单的 vagrant 设置,用于在 3 个虚拟机上创建和配置 Storm 和 kafka。 kafka :192.168.111.100 上的 kafka vm、运行主管、zookeeper 和 kafka nimbus :192.168.111.101 上的storm numbus VM,运行...

    【Storm】二、Storm集群部署

     集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群。  注意:所有的集群上都需要配置hosts  vi /etc/hosts  192.168.239.128 storm01 zk01 hadoop01  192.168.239.129 storm02...

    StormUIAPI:涵盖Storm UI API REST的Python类

    Storm UI守护程序提供了一个REST API,使您可以与Storm集群进行交互,其中包括检索指标数据和配置信息以及诸如启动或停止拓扑之类的管理操作。 REST API返回JSON响应并支持JSONP。 客户端可以传递回调查询参数以将...

    storm-debian-packaging:使用dpkg-buildpackage的Storm Debian包装

    打包的storm可以像在其他地方解压缩的storm zip一样容易使用,同时,还可以灵活地对其进行配置,以实现可靠且方便的长期高负荷生产使用。 Storm提供了多种服务(雨云,主管,drpc等)。 该项目为每个服务提供单独的...

    storm:冲向Mesos!

    要使用发行版,您首先需要解压缩发行版,将下面列出的配置填写到conf/storm.yaml文件中,然后使用storm-mesos nimbus启动Nimbus。 注:这是没有必要重新包装配送-配置被自动推送至从雨云的奴隶。 已知缺陷与非...

    storm-hue:适用于Apache Storm的Hue应用程序

    基于检索指标数据的自定义仪表板HUE启动时配置验证器要求或更高。 同一Hue服务器中的Storm Client。 适用于Python 2.5或2.6的 。 ReportLab 3.X需要2.7或更高版本的Python。主栈Python Django的真子jQuery的引导...

    news-crawl:使用Storm-Crawler进行新闻爬网-将内容存储为WARC

    启动Elasticsearch和Storm 通过运行bin/ES_IndexInit.sh构建ES索引 履带式种子 搜寻器依靠 / 提要和来查找新闻站点上新闻文章的链接。 提供了示例种子(提要和站点地图)。 添加对不提供新闻提要或站点地图的新闻...

    大数据框架的部署

    zookeeper,kafka,storm,flume,spark的部署安装。...kafka和storm依赖zookeeper,所以要先安装好zookeeper并启动之后才能启动storm和kafka。 另:文档提供的配置文件只提供说明,具体可以从随付的相应的配置文件中拷贝。

    大数据技术开发环境搭建.docx

    Hadoop伪分布式配置 25 启动Hadoop 26 运行Hadoop伪分布式实例 30 启动YARN 35 附加教程: 配置PATH环境变量 37 使用Eclipse编译运行MapReduce程序(Hadoop-Eclipse-Plugin,建议) 38 使用Eclipse打包自己的...

    cep_home.zip

    下载执行epl需要的配置文件,解压,拷贝到/root/software/apache-storm-0.9.4/cep-home 这个目录可以自定义,在启动topology的时候参数中给出路径

    storm-watch

    在交互式监视模式下启动测试运行器。 有关更多信息,请参见关于的部分。 yarn build 构建生产到应用程序build文件夹。 它在生产模式下正确捆绑了React,并优化了构建以获得最佳性能。 生成被最小化,并且文件名...

    bigdata-ansible:大数据ansible脚本

    充分利用"约定大于配置"使脚本简化,系统hostname命名,相互无密访问,甚至用户名等都是vagrant实现的,约定自动脚本只实现安装,服务启动用手动脚本,使用脚本前,都要自己从网上下载好需要安装的安装包,并解压到...

    ambari-blueprint-examples

    通过一些蓝图,可以真正轻松地通过向导并启动HDP群集。 蓝图清单 相当于沙盒-非常便宜的蓝图,可在亚马逊上运行某些内容以处理我们的东西 小型群集-可能有8-10个代表标准群集的节点。 HA群集-可能有20个具有HA的...

    P5_博客

    Espace配置文件 联系方式 语言工具: HTML和CSS PHP版本7.3.12 MySQL 捕获德兰(D'écran): 先决条件 ce qu est要求倒入启动器: Serveur当地(门面,台灯,洗碗池...)。 Editeur de texte(Sublime,Vs ...

    WIN XP蓝屏代码大全

    ◇解决方案:如果是在安装了某个新硬件后出新的, 可以先移除该硬件, 并通过网上列表检查它是否与Windows 2K/XP兼容, 接着启动电脑, 如果蓝屏还是出现, 请使用"最后一次正确配置"来启动Windows, 如果这样还是失败, ...

    电脑蓝屏对照码

    ◇解决方案:如果是在安装了某个新硬件后出新的, 可以先移除该硬件, 并通过网上列表检查它是否与Windows 2K/XP兼容, 接着启动电脑, 如果蓝屏还是出现, 请使用"最后一次正确配置"来启动Windows, 如果这样还是失败, ...

    springBoot-study:SpringBoot学习的相关工程并辅以博文讲解。主要包括入门的Hello World,自定义配置的获取,集成mybatis的xml和注解使用,集成jpa的使用,集成德鲁伊进行项目的监控,物体实战使用,项目打包,使用logback日志文件管理,添加过滤器和拦截器,多数据源,Restful风格的服务,集成弹性搜索,redis,netty,集成jsp和百里香叶,集成风暴,kafka等相关技术

    : : : 使用说明下载git clone https://github.com/xuwujing/springBoot-study.git使用秉着开箱即用的原则,这些工程只需下载之后,更改相应的配置(MySql,Es,Redis等地址配置),运行main方法,即可启动!...

Global site tag (gtag.js) - Google Analytics