四、在storm上发布应用
1、主类传递参数形式
c:\project\storm\conf.yaml是传递到主类main方法的参数值
storm jar c:\project\storm\testjstorm-0.1-jar-with-dependencies.jar com.TestParseTopology c:\project\storm\conf.yaml -c nimbus.host=localhost
三、删除Strom上Topology
storm kill {stormname}
二、Storm、JStrom在windows的集成
1、下载 apache-storm-0.10.0.zip,直接解压使用
2、下载jstorm-2.0.4-SNAPSHOT.tar.gz,提取其中jstorm-core-2.0.4-SNAPSHOT.jar里的com目录里全部类,把这些类放到 $STORM_HOME$/lib/ storm-core-0.10.0.jar中。
3、将如下的jar包放入 $STORM_HOME$/lib/
commons-cli-1.2.jar
commons-codec-1.6.jar
commons-exec-1.1.jar
commons-io-2.4.jar
commons-lang-2.5.jar
4、此时,可以运行 基于JStrom编写的storm程序。
一、windows安装storm
注意:
在windows下运行storm nimbus命令时,在%STORM_HOME%\bin\storm-config.cmd里修改STORM_LOGBACK_CONFIGURATION_FILE配置参数。
修改前的内容:
if not defined STORM_LOGBACK_CONFIGURATION_FILE (
set STORM_LOGBACK_CONFIGURATION_FILE=%STORM_HOME%\log4j2\cluster.xml
)
修改后的内容:
if not defined STORM_LOGBACK_CONFIGURATION_FILE (
set STORM_LOGBACK_CONFIGURATION_FILE=file://%STORM_HOME%\log4j2\cluster.xml
)
参考:
http://blog.csdn.net/cauchy8389/article/details/39586763
分享到:
相关推荐
storm中记录级容错的意思是说,storm会告知用户每一个消息单元是否在指定时间内被完全处理了。那什么叫做完全处理呢,就是该message id绑定的源tuple及由该源tuple后续生成的tuple经过了topology中每一个应该到达的...
Storm集群安装部署步骤,一步一步记录了作者亲自实践部署的过程,包括遇到的错误解决办法
内容概要: • Storm 记录级容错原理 • Storm 配置详解 • Storm 批处理 • Storm TOPN • Storm 流程聚合 • Storm DRPC • Storm executor、worker、task之间的关系和调优 • Storm异常解决
NULL 博文链接:https://bena.iteye.com/blog/2102526
暴风纱 Storm-yarn使Storm群集可以部署到Hadoop YARN管理的计算机中。 这项工作仍在进行中。 贡献者 ... 我们已经将日志记录框架从logback更新为log4j2。 如何安装和使用 先决条件 首先安装Java 8和Maven
Android非凡行车记录仪源码,适用于所有类似行车记录仪的应用,包含后台录像、录音等强大功能。录像方案有基于camera2的实现、基于opengles的实现,非常适合相关项目开发者进行参考和复用,也可直接基于此项目进行二...
然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能...
学生在线记录管理(STORM)系统是MySQL的数据库接口,用于保存大型课程的记录。 它维护和计算标记,并维护讲座,教程和实验室的部分/小组作业。
ssg 每周内更新 spark streaming 所遇到的公司项目中...我们更是spark爱好者,我们想把每天遇到的问题记录下来,share to everyone。我们有一群spark streaming使用者在讨论问题,我们更希望您的加入。QQ群:467013129
Amazon Kinesis Storm喷口从Amazon Kinesis获取数据记录,并将其作为元组发出。 喷口将检查点状态存储在以跟踪流中的当前位置。 可以将Amazon Kinesis Storm喷口配置为重试失败的记录。 默认情况下,它将重试失败的...
存档螺栓可重复使用的Storm螺栓,用于将数据存档到文件。 当前支持存储到s3。变更记录v0.1.10 将文件写入S3时,将内容类型设置为application/json 。 v0.1.8 将对象写入S3不再使用临时文件。 v0.1.7 暴风雨版本升至...
访问广度、sql注入和xss检测可疑度、useragent个数、是否使用代理访问),可通过设置web日志指定字段的阀值选择性的记录分析结果到mysql数据库,通过分析数据能够做很多事情,比如判断拦截恶意访问ip,了解网站访问...
nginx日志监控 简单介绍 单机版(master branch) : 项目基于storm的实时nginx日志监控,通过读取nginx的日志文件access.log来收集nginx服务器的状态,并在...StormSpout读取access.log文件,将新产生的行记录提交给Spl
海燕 用于在纯Python中编写,提交,调试和监视Storm拓扑的工具。... Petrel自动为每个喷嘴或螺栓设置日志记录,并记录未处理错误的堆栈跟踪。 这是一个简单的例子。 它实现了字数统计(经典的大数据演示应用程序)。
基于HadoopETL和Hadoop和Storm的各种实用程序类 哲学 使用简单 CSV格式的输入输出 在简单的JSON文件中定义的元数据 可以通过许多配置旋钮进行高度配置 解决方案 各种关系代数运算,包括投影,联接等 数据提取ETL,可...
本文主要记录一些关于Flink与storm,spark的区别, 优势, 劣势, 以及为什么这么多公司都转向Flink.这是对Flink最简单的认识, 也最容易引起疑惑, 它和storm和spark的区别在哪里? storm是基于流计算的, 但是也可以模拟...
是本人学习Java过程中记录的一些代码!从Java基础的数据类型、jdk1.8的使用、IO、集合、线程等等技术以及一些常用框架,netty、mina、springboot、kafka、storm、zookeeper、es、redis、hbase、hive等等。 使用 ...
#摄取一个有效的 Storm 拓扑,它从一组 Kafka 主题中读取事件并将消息写入其中。 说明了一些 Kafka 和 Storm 设计模式: 正式的 ... 记录由 spout 从 Kafka 主题中读取,spout 将它们立即写入两个流,主处理流 (RawReco
2. 功能增加: 压缩包服务增加浏览压缩包目录树的功能,同时支持压缩包历史记录和自动搜索指定目录下的压缩包文件。 3. 功能改进: 改进Windows Shell服务,对XP系统上可能发生不可逆Shell路径问题进行特殊处理。 4....
详细描述CDH集群部署 1规划服务器 2 2安装和配置Mysql数据库 4 3离线安装Cloudera Manager5和CDH5 7 3.1创建本地yum软件源 7 3.2使用本地类库安装CM 10 3.3 设置cloudera manager使用的...7.1 CDH安装部署问题记录 25