wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar -xzvf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
sudo apt-get install gcc
sudo apt-get install g++
sudo apt-get install libuuid-dev
./configure
sudo apt-get install make
make
sudo make install
sudo apt-get install git
git clone https://github.com/nathanmarz/jzmq.git
cd jzmq
sudo apt-get install pkg-config
./autogen.sh
./configure
touch src/classdist_noinst.stamp
cd src
javac -d . org/zeromq/*.java
cd ..
make
sudo make install
wget https://dl.dropboxusercontent.com/s/fl4kr7w0oc8ihdw/storm-0.8.2.zip
sudo apt-get install unzip
unzip storm-0.8.2.zip
cd storm-0.8.2
sudo vi /etc/profile
增加:
exportSTORM_HOME=/home/ysc/storm-0.8.2
exportPATH=$PATH:$STORM_HOME/bin
source /etc/profile
vi conf/storm.yaml
增加:
storm.zookeeper.servers:
- "host001"
nimbus.host: "host001"
storm.local.dir: "/home/ysc/storm"
supervisor.slots.ports:
- 6700
- 6701
- 6702
-6703
启动主节点
storm nimbus &
启动从节点
stormsupervisor &
启动WEB服务
storm ui &
git clone https://github.com/nathanmarz/storm-starter.git
cd storm-starter
sudo apt-get install maven2
vi m2-pom.xml
改变下面两个依赖的版本为3.0.3
<dependency>
<groupId>org.twitter4j</groupId>
<artifactId>twitter4j-core</artifactId>
<version>3.0.3</version>
</dependency>
<dependency>
<groupId>org.twitter4j</groupId>
<artifactId>twitter4j-stream</artifactId>
<version>3.0.3</version>
</dependency>
mvn -f m2-pom.xml package
cp m2-pom.xml pom.xml
mvn eclipse:eclipse
导入eclipse
Java Build Path -> Add Variable… ->Configure Variables… -> New… -> Name: M2_REPO Path:maven存储库路径
本地运行wordcount:
storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology
集群运行wordcount:
storm jartarget/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology wordcount
相关推荐
1、课程中完整开发3个Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。 项目源码均可以直接运行,也可直接用于商用或企业。 2、Storm全面、系统、深入讲解 3、注重实践,对较抽象难懂的技术点如...
Storm流计算项目(文档中含有视频下载地址和解压密码),内容包含 storm、trident、kafka、hbase、cdh、hightcharts 等内容
基于Storm的流计算框架,刘心光,,大数据时代的信息爆炸,使得对大数据的处理变得异常重要。各个行业尤其是互联网行业,每天都会产生TB级的服务数据,因此需要更大�
基于Storm的分布式流计算集群详细配置
Storm视频教程通过含3个Storm完整项目,均为企业实际项目,其中一个是完全由Storm Trident开发。本课程每个技术均采用最新稳定版本,学完后可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定!涨工资?身价...
Storm官方网站有段简介 ...Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。
storm分布式实时计算,集成durid,zookeeper,hadoop等
STORM的TOPOLOGY在线上运行时,随着数据量的增加,在一定的服务器性能及集群规模下,会渐渐达到一个极限,到达极限后,服务器的load、io、cpu、mem等可能会出现耗尽,系统很卡,storm吞吐量骤降的情况。本文档中截图...
1、全面掌握Storm技术开发、运维、调优; 2、掌握Storm完整项目开发思路和架构设计,陡直提升经验值! 3、掌握Storm Trident项目开发模式; 4、掌握Storm集成Kafka开发及项目实战; 5、掌握HighCharts各类图表...
《Storm实战:构建大数据实时计算 》是一本系统并且具有实践指导意义的Storm工具书和参考书,对Storm整个技术体系进行了全面的讲解,不仅包括对基本概念、特性的介绍,也涵盖了一些原理说明。 实战性很强,各章节都...
Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景) Storm入门教程 之Storm原理和概念详解,出自Storm流计算从入门到精通之技术篇,Storm入门视频教程用到技术:Storm集群...
storm流式计算的介绍,包括kafka、redis的介绍,包含日志系统、电商交易系统的文档。
计算平台事业部 付空在2018云栖大会·上海峰会中做了题为《基于流计算构建实时大数据处理系统》的分享,就为什么要用流计算、为什么要用阿里云流计算、如何用流计算等方面的内容做了深入的分析。
大数据实时计算/流计算的技术路线对比,包括spark/storm/flink
Storm分布式实时计算在物联网系统中的应用
分别为1、storm项目-流数据监控系列1《设计文档》2、storm项目-流数据监控系列2《代码解析》 3、storm项目-流数据监控系列3《实例运行》4、storm项目-流数据监控系列4《MetaQ接口》5、storm项目-流数据监控系列5...
Storm并行计算与乱序处理方法,Strom内部实现细节研究。
分别为1、storm项目-流数据监控系列1《设计文档》2、storm项目-流数据监控系列2《代码解析》 3、storm项目-流数据监控系列3《实例运行》4、storm项目-流数据监控系列4《MetaQ接口》5、storm项目-流数据监控系列5...
大数据实时计算,storm, kafka ,flume ,zookeeper 组件结合完成大数据storm实时计算