`

Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构

 
阅读更多

转载:http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/

Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构


我们知道,storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互,nimbus通过zookeeper来发布一些指令,supervisor去读zookeeper来执行这些指令,具体nimbus和supervisor在zookeeper上交换了哪些信息可以看一下这篇文章: Twitter Storm源代码分析之ZooKeeper中的目录结构。知道了他们在zookeeper存的信息之后,大家一定想知道nimbus和zookeeper在自己本机存了什么信息呢?这篇文章给你介绍。代码主要包括config.clj, nimbus.clj, supervisor.clj, worker.clj

注意:下面目录结构里面, nimbus机器上面只有/nimbus目录,supervisor机器上面只有/supervisor目录和/workers目录。

01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
/{storm-local-dir}
|
|-/nimbus
| |
| |-/inbox -- 从nimbus客户端上传的jar包
| | | 会在这个目录里面
| | |
| | |-/stormjar-{uuid}.jar -- 上传的jar包其中{uuid}表示
| | 生成的一个uuid
| |
| |-/stormdist
| |
| |-/{topology-id}
| |
| |-/stormjar.jar -- 包含这个topology所有代码
| | 的jar包(从nimbus/inbox里
| | 面挪过来的)
| |
| |-/stormcode.ser -- 这个topology对象的序列化
| |
| |-/stormconf.ser -- 运行这个topology的配置
|
|-/supervisor
| |
| |-/stormdist
| | |
| | |-/{topology-id}
| | |
| | |-/resources -- 这里保存的是topology的
| | | jar包里面的resources目录
| | | 下面的所有文件
| | |
| | |-/stormjar.jar -- 从nimbus机器上下载来的
| | | topology的jar包
| | |
| | |-/stormcode.ser -- 从nimbus机器上下载来的
| | | 这个topology对象的序列
| | | 化形式
| | |
| | |-/stormconf.ser -- 从nimbus机器上下载来的
| | 运行这个topology的配置
| |
| |-/localstate -- supervisor的localstate
| |
| |-/tmp -- 临时目录,从Nimbus上下
| | 载的文件会先存在这个目
| | 录里面,然后做一些简单
| | 处理再copy到
| | stormdist/{topology-id}
| | 里面去
| |-/{uuid}
| |
| |-/stormjar.jar -- 从Nimbus上面download下
| 来的工作jar包
|
|-/workers
|
|-/{worker-id}
|
|-/pids -- 一个worker可能会起多个子
| | 进程所以可能会有多个pid
| |
| |-/{pid} -- 运行这个worker的JVM的pid
|
|-/heartbeats -- 这个supervisor机器上的
| worker的心跳信息
|
|-/{worker-id} -- 这里面存的是一个worker
的心跳:主要包括心跳时
间和worker的id
分享到:
评论

相关推荐

    storm简单介绍、模型图及基本代码

    storm简单介绍、模型图及基本代码,包括nimbus、supervisor、workers、spouts、bolts等

    nimbus-jose-jwt-4.41.1-API文档-中文版.zip

    赠送源代码:nimbus-jose-jwt-4.41.1-sources.jar; 赠送Maven依赖信息文件:nimbus-jose-jwt-4.41.1.pom; 包含翻译后的API文档:nimbus-jose-jwt-4.41.1-javadoc-API文档-中文(简体)版.zip; Maven坐标:...

    nimbus-jose-jwt-3.9-API文档-中文版.zip

    赠送源代码:nimbus-jose-jwt-3.9-sources.jar; 赠送Maven依赖信息文件:nimbus-jose-jwt-3.9.pom; 包含翻译后的API文档:nimbus-jose-jwt-3.9-javadoc-API文档-中文(简体)版.zip; Maven坐标:...

    css by Nimbus(iPhone源代码)

    读取本地CSS代码,并进行解析,然后将布局属性反应到界面元素中。 小编注:这是著名的Nimbus框架的一个demo例子。下载本代码之后,还必须下载Nimbus的源码(https:///jverkoey/nimbus)才能正确编译。 Code4App...

    漫谈大数据第四期-storm

    Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新...

    nimbus-jose-jwt-4.41.1-API文档-中英对照版.zip

    赠送源代码:nimbus-jose-jwt-4.41.1-sources.jar; 赠送Maven依赖信息文件:nimbus-jose-jwt-4.41.1.pom; 包含翻译后的API文档:nimbus-jose-jwt-4.41.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标...

    storm-playground:Apache Storm 的个人游乐场

    storm-0.9.3 stormsudo ln -s /opt/storm/bin/storm /usr/local/bin将您的 Storm 集群信息存储在一个文件中: 你应该创建一个文件 ~/.storm/storm.yaml nimbus.host: "123.45.678.890"运行拓扑: 在集群上运行 storm...

    strom的安装

    Nimbus和Supervisor都能快速失败并恢复,而且它们是无状态的,其元数据存储在ZooKeeper中,这使得系统具有很高的容错性。Nimbus与Supervisor之间的协调工作是通过ZooKeeper来完成的。 Worker由Supervisor负责启动,...

    Storm运行原理探索

    ApacheStorm的前身是TwitterStorm平台,目前已经归于Apache基金会管辖。...Storm集群采用主从架构方式,主节点是Nimbus,从节点是Supervisor,有关调度相关的信息存储到ZooKeeper集群中,架构如下图所示:N

    Storm+Zookeeper 流模式大数据处理部署手册

    Slave 服务器部署 Supervisor 工作节点用于收听工作指派并基于要求运行工作进程,而 Nimbus 和 Supervisor 之间的协调则通过 Zookeeper 系统或者集群实现。 操作系统:统信服务器操作系统 Storm:2.2.0 Zookeeper:...

    InterApp by Nimbus(iPhone源代码)

     在自己的应用中调用本地其他应用或者服务。比如,在自己的应用中调用浏览器、google地图、电话、短信、邮件、iBook、App Store、Facebook、Instagram等等本机的其他应用或者服务。 小编注:这是著名的Nimbus框架...

    nimbus-sans-l.zip

    nimbus-sans-l.zip nimbus-sans-l.zip nimbus-sans-l.zip nimbus-sans-l.zip

    C/C++实现对STORM运行信息查看及控制的方法

    对此,通过对STORM UI和CMD源码的分析,得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift可以参见这个地方。安装完成后,从STORM源码中将storm.thrift拷贝到thrift目录下。...

    ApacheStorm内部原理分析

    本文算是个人对Storm应用和学习的一个总结,由于不太懂Clojure语言,所以无法更多地从...Storm集群采用主从架构方式,主节点是Nimbus,从节点是Supervisor,有关调度相关的信息存储到ZooKeeper集群中,架构如下图所示:

    docker-storm:Baqend的Apache Storm Docker映像

    Storm允许您通过命令行参数提供任何属性,如下所示: bin/storm ui \ -c storm.local.hostname="nimbus"您不仅限于字符串,还可以提供整数列表: bin/storm supervisor \ -c supervisor.slots.ports="[6700,6701]...

    kafka-storm:通过storm打印kafka消息的测试环境和代码

    nimbus :192.168.111.101 上的storm numbus VM,运行supervisor、nimbus 和storm UI worker1 :storm worker VM,在 192.168.111.102 上运行受监督的主管 Storm-code 目录包含一个用于部署和测试的简单风暴拓扑。...

    Storm-Kafka-ES:风暴拓扑将风暴与Kafka和Elasticsearch集成

    该项目的前提条件:Zookeeper安装Kafka Broker Storm安装并启动Nimbus,Supervisor,Logviewer和UI Elastic search Kibana(用于仪表板) 设置:安装完上述工具集后,将maven项目下载到本地工作区中并构建一个jar ...

    Nimbus Screenshot and Screencas

    Nimbus Screenshot and Screencas最强大的chrome截屏、录屏、录音插件!

    Storm基础理论与实战

    适合初学者学习,基本理论讲解和实战。Storm的安装,Storm的集群架构(Nimbus,Supervisos,Executor,Worker,zookeeper)

Global site tag (gtag.js) - Google Analytics