`
skzr.org
  • 浏览: 355317 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

storm运行topology不正常排查

 
阅读更多

提交topology成功后,发现运行不正常

  1. 验证topology提交成功:打开nimbus ui,看看提交的topology是否存在
  2. 检查自己的topology,在ui中点击自己的topology后查看spout是否有emit计数,如果有,那么storm集群ok,如果不正常,那是程序的问题
  3. 在ui中看看是否有可用的supervisor
  4. 在ui中看是否有free slot
  5. 在ui中检查自己的topology,看看是否显示了spout和bolt运行在哪儿,如果没有说明根本没起来,如果重启集群后,依然无法起来,那么是你的程序问题


程序问题排查

  1. submit日志在nimbus.log
  2. 生成work命令行的日志输出在supervisor.log
  3. 程序运行时的日志在work-xxx.log

 

0
4
分享到:
评论

相关推荐

    storm提交topology的过程共1页.pdf.zip

    storm提交topology的过程共1页.pdf.zip

    STORM流计算Topology性能监控

    STORM的TOPOLOGY在线上运行时,随着数据量的增加,在一定的服务器性能及集群规模下,会渐渐达到一个极限,到达极限后,服务器的load、io、cpu、mem等可能会出现耗尽,系统很卡,storm吞吐量骤降的情况。本文档中截图...

    storm-topology-examples

    风暴拓扑示例 概述: 该项目提供了有关使用各种Apache Storm拓扑的示例集合... cd /tmp/storm-topology-examples && bash -x bin/install_mongodb.sh 如果使用HiveBolt,则创建表(您可能要修改ddl) cd /tmp/storm

    Storm杂谈之Topology的启动过程

    大家都知道,要提交StormTopology到Cluster,需要运行如下命令:bin目录下storm是一个Python文件,我们可以看一下Python脚本的main方法首先解析args参数,解析完了之后,把所有的参数传递给COMMANDS,由COMMANDS调用...

    storm 示例demo

    import backtype.storm.topology.BasicOutputCollector; import backtype.storm.topology.OutputFieldsDeclarer; import backtype.storm.topology.base.BaseBasicBolt; import backtype.storm.tuple.Fields; import ...

    java开发的基于kafka、xlog的web日志实时分析storm topology.zip

    java开发的基于kafka、xlog的web日志实时分析storm topology.zip

    Storm流计算项目:1号店电商实时数据分析系统-33.项目3-非跳出UV-Storm topology开发二.pptx

    32.项目3-非跳出UV-Storm topology开发一 33.项目3-非跳出UV-Storm topology开发二 34.项目3-非跳出UV-Web端Servlet开发 35.项目3-非跳出UV-Web端Highcharts图表开发 36.项目3-非跳出UV-项目效果调试 37.项目3-非...

    细细品味Storm_Storm简介及安装

    Storm分布式实时计算模式由Apache Storm 项目核心贡献者吉奥兹、奥尼尔亲笔撰 写,融合了作者丰富的Storm实战经验,通过大量示例,全面而系统地...第10章介绍如 何在云服务提供商提供的主机环境下部署和运行 Storm。

    论文研究-Storm集群下一种基于Topology的任务调度策略.pdf

    Storm作为开源的分布式实时计算系统在业界得到了广泛应用,针对Storm自带调度策略忽略了Topology组件任务间的逻辑耦合性,从而引起大量tuple传输产生较大网络时延问题,结合进程代数将Topology等效简化为具有明显...

    Storm实战:构建大数据实时计算

    第3章深入讲解了Storm的基本概念,同时实现一个Topology运行;第4章和第5章阐述了Storm的并发度、可靠处理的特性;第6章~第8章详细而系统地讲解了几个高级特性:事务、DRPC和Trident;第9章以实例的方式讲解了Storm...

    storm 测试 life-cycle.jar

    storm 测试 life-cycle.jar # ./storm jar /opt/test/lifeCycle.jar cn.itcast.storm.topology.TopoMain life-cycle

    《Storm实时数据处理》PDF.zip

    系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器...

    Storm.Applied.Strategies.for.real-time.event.processing

    Chapter 3 Topology design Chapter 4 Creating robust topologies Chapter 5 Moving from local to remote topologies Chapter 6 Tuning in Storm Chapter 7 Resource contention Chapter 8 Storm internals

    IT十八掌_Storm阶段学习笔记(课堂笔记与原理图解)

    IT十八掌第三期配套资料! 1、Storm介绍及特点 2、storm的优势与应用 3、storm使用和配置 4、配置storm并发度 5、配置storm完全分布式集群 6、storm开发环境与生产环境 7、storm的topology再平衡 8、分组、自定义分组

    第一个Storm应用

    一、Storm运行模式: 1.本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发、调试。 2.远程模式(Remote Mode):在这个模式,我们把我们的...

    大数据-Storm实时数据处理

    系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器...

    漫谈大数据第四期-storm

    其中讨论了多种Storm概念和抽象,提供了范例代码以便你可以运行一个Storm Topology。开发过程中,可以用本地模式来运行Storm,这样就能在本地开发,在进程中测试Topology。一切就绪后,以远程模式运行 Storm,提交...

    大数据平台Storm入门到精通

    01.Storm基础知识02.Storm集群安装-1-new .avi.baiduyun.p05.Storm配置文件配置项讲解07.Storm基本API介绍08.Storm Topology的并发度09.Strom消息机制原理讲解10.Storm DRPC实战讲解

    C/C++实现对STORM运行信息查看及控制的方法

    本文所述程序实例主要实现在后端应用服务器上实时获取STORM集群的运行信息和topology相关的提交和控制。对此,通过对STORM UI和CMD源码的分析,得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行...

Global site tag (gtag.js) - Google Analytics