- 浏览: 136588 次
- 性别:
- 来自: 北京
文章分类
--------------------------------------------strom set up-------------------------------------
1.set up a zookeeper cluster
2.set up ZeroMQ 2.1.7
configure: error: cannot link with -luuid, install uuid-dev.
#yum install libuuid-devel
3.set up jzmq
autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
#yum install libtool
4.set up Java 6
5.set up Python 2.6.6
6.set up unzip
配置参考
http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html
7.修改storm.yaml配置文件
Storm发行版本解压目录下有一个conf/storm.yaml文件,用于配置Storm。默认配置在这里可以查看。conf/storm.yaml中的配置选项将覆盖defaults.yaml中的默认配置。以下配置选项是必须在conf/storm.yaml中进行配置的:
1) storm.zookeeper.servers: Storm集群使用的Zookeeper集群地址,其格式如下:
如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。
2) storm.local.dir: Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录,如:
storm.local.dir: "/home/admin/storm/workdir"
3) java.library.path: Storm使用的本地库(ZMQ和JZMQ)加载路径,默认为"/usr/local/lib:/opt/local/lib:/usr/lib",一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下,因此不需要配置即可。
4) nimbus.host: Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars、confs等文件,如:
nimbus.host: "111.222.333.444"
5) supervisor.slots.ports: 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口,如:
2.5 启动Storm各个后台进程
最后一步,启动Storm的所有后台进程。和Zookeeper一样,Storm也是快速失败(fail-fast)的系统,这样Storm才能在任意时刻被停止,并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因,即使Nimbus或Supervisors被重启,运行中的Topologies不会受到影响。
以下是启动Storm各个后台进程的方式:
Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序,并放到后台执行;
Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序,并放到后台执行;
UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。
DRPC: 在Storm主控节点上运行"bin/storm drpc >/dev/null 2>&1 &"启动drpc
注意事项:
1.Storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
2.经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。
3.为了方便使用,可以将bin/storm加入到系统环境变量中。
至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。
8.启动storm作业
9. 2013-09-02 15:31:53 worker [WARN] Received invalid messages for unknown tasks. Dropping... 问题
修改host,即hostname 要和hostname -i 对应起来,不能出现127.0.0.1 ,修改方法如下:
a、设置hostname:
$
b、$
设置 HOSTNAME=pc-name
c、$
1.set up a zookeeper cluster
2.set up ZeroMQ 2.1.7
tar -xzf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure make make install
configure: error: cannot link with -luuid, install uuid-dev.
#yum install libuuid-devel
3.set up jzmq
unzip jzmq-master.zip cd jzmq-master ./autogen.sh ./configure make make install
autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
#yum install libtool
4.set up Java 6
5.set up Python 2.6.6
6.set up unzip
配置参考
http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html
7.修改storm.yaml配置文件
Storm发行版本解压目录下有一个conf/storm.yaml文件,用于配置Storm。默认配置在这里可以查看。conf/storm.yaml中的配置选项将覆盖defaults.yaml中的默认配置。以下配置选项是必须在conf/storm.yaml中进行配置的:
1) storm.zookeeper.servers: Storm集群使用的Zookeeper集群地址,其格式如下:
storm.zookeeper.servers: - "111.222.333.444" - "555.666.777.888"
如果Zookeeper集群使用的不是默认端口,那么还需要storm.zookeeper.port选项。
2) storm.local.dir: Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录,如:
storm.local.dir: "/home/admin/storm/workdir"
3) java.library.path: Storm使用的本地库(ZMQ和JZMQ)加载路径,默认为"/usr/local/lib:/opt/local/lib:/usr/lib",一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下,因此不需要配置即可。
4) nimbus.host: Storm集群Nimbus机器地址,各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars、confs等文件,如:
nimbus.host: "111.222.333.444"
5) supervisor.slots.ports: 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口,如:
supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703
2.5 启动Storm各个后台进程
最后一步,启动Storm的所有后台进程。和Zookeeper一样,Storm也是快速失败(fail-fast)的系统,这样Storm才能在任意时刻被停止,并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因,即使Nimbus或Supervisors被重启,运行中的Topologies不会受到影响。
以下是启动Storm各个后台进程的方式:
Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序,并放到后台执行;
Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序,并放到后台执行;
UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。
DRPC: 在Storm主控节点上运行"bin/storm drpc >/dev/null 2>&1 &"启动drpc
注意事项:
1.Storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
2.经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。
3.为了方便使用,可以将bin/storm加入到系统环境变量中。
至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。
8.启动storm作业
/export/servers/storm-0.8.2-nimbus/bin/storm jar storm-starter-0.0.1-SNAPSHOT.jar storm.starter.trident.TridentWordCount wordcount
9. 2013-09-02 15:31:53 worker [WARN] Received invalid messages for unknown tasks. Dropping... 问题
修改host,即hostname 要和hostname -i 对应起来,不能出现127.0.0.1 ,修改方法如下:
a、设置hostname:
$
hostname pc-name
b、$
sudo vim /etc/sysconfig/network
设置 HOSTNAME=pc-name
c、$
sudo /etc/hosts
127.0.0.1 localhost localhost.localdomain ::1 localhost6 localhost6.localdomain6 10.12.117.78 pc-name
发表评论
-
网络io学习
2014-01-27 10:21 6871.http://blog.sae.sina.com.cn/a ... -
linux shell 学习
2013-12-14 10:42 8401.查看进程号 pgrep gedit 2.查看环 ... -
动态代理性能比较
2013-01-18 17:02 1126转自http://javatar.iteye.com/blog ... -
java 类加载器学习
2012-12-14 10:47 999引用1.自定义类加载器 public interface ... -
jackson 学习
2012-11-13 15:42 9801.json 转为object对象 public clas ... -
java 线程池 异常 处理 机制 分析
2012-10-31 19:34 2072public class ThreadTest { ... -
ThreadPoolExecutor 原理-- java 线程池
2012-08-08 19:14 1105整个ThreadPoolExecutor的任务处理有4 ... -
java 缓冲
2012-08-08 19:12 986import org.apache.log4j.Logge ... -
java 程序消耗 cpu 100% 查找方法
2012-05-16 14:38 17176问题原因:由于HashMap是非线程安全的,在多线程访问时,造 ... -
java io
2012-04-24 11:06 8831、按字节读取文件内容 2、按字符读取文件内容 3、按行读取 ... -
redis 学习
2012-04-11 15:23 1008redis 安装: 一:单机模 ... -
java 内省
2011-11-20 22:58 786java内省 -
系统常用工具类
2011-04-20 17:46 9781.ArithUtil.java ... -
spring 面向切面编程
2010-12-27 17:03 1054@Aspect public class AspectCoup ... -
jxl 写入excel
2010-11-10 13:52 9911.程序调用 ReportInterface report ... -
java 读取excel
2010-11-10 09:04 916package com.longtuo.client.act ... -
java 生成略缩图
2010-10-20 17:21 1175import java.awt.Graphics2D; imp ... -
Linux下mplayer加载中文字幕乱码解决方案
2010-10-17 11:03 2513Mplayer播放器的强大性这里就不多说了,在Linux下浏览 ... -
linux 学习
2010-09-19 16:38 7851.JDK环境变量配置 export JAVA_HOM ... -
XStream简单介绍
2010-09-10 15:44 1648创建能够序列化的类 这是一组简单的类。XStream能把这 ...
相关推荐
0-检查gcc,python版本:python -V,要有gcc-c++ 1-jdk安装 2-解压缩zk 3-安装zeromq configure: error: cannot link with -luuid, install uuid-dev rpm -ivh uuid-1.6.1-10.el6.x86_64.rpm ...修改/etc/hosts,storm.yaml
storm安装配置快速上手
storm安装笔记
zk\kafka\redis\storm 安装包,安装文档,入门学习文档等
2.环境变量配置与生效 1. Storm的特点Storm可用于许多领域中,如实时分析、在线机器学习、持续计算、远程RPC、数据提取加载转换等 2. Storm设
storm1.1.0单节点部署安装
大数据实时计算strom安装包,可以用来安装学习。非常方便
一直没找到真正齐全可用的storm安装所需包,经过各种收集终于找全,与大家分享。
大数据开发,storm安装,源码包,安装包下载,大数据开发,storm安装,源码包,安装包下载
细细品味Storm_Storm简介及安装
storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。
storm集群安装与运维.doc
在集群上安装 Storm Package 之前,您需要执行一些重要的步骤来准备您的系统。 1.Storm需要zookeeper集群。 对于 zookeeper 集群安装,您可以在 cdh 上找到安装步骤。 或以下网址(日文) 安装风暴包 1.解压下载...
Storm集群安装部署步骤,一步一步记录了作者亲自实践部署的过程,包括遇到的错误解决办法
内容概要: • Storm安装 安装ZeroMQ 安装jzmq 安装Python2.7.2 安装storm 配置storm 启动storm 测试storm
本文档主要是storm组件部署。欢迎大家关注数据科学,本人不断为大家提供数据科学相关知识,如有疑问请随时沟通不断优化
目录 软件下载 2 ...Storm安装和使用 130 使用Eclipse编写Storm程序(maven) 134 Kafka安装 142 Flume安装 151 Sqoop安装 159 Hama安装 165 使用Eclipse编写Hama应用程序 168 参考文献: 174
通过以下配置提供向后的兼容性client.jartransformer.class: "org.apache.storm.hack.StormShadeTransformer"如果要运行使用较旧的版本Storm编译的代码,则需要在Storm安装中添加上述配置。该配置应该添加到您用于...
本文档介绍了Storm原理,从单机安装和集群安装,以及一些入门程序编写的简单讲解。使开发人员一步一步从入门到精通