`

Storm中的基本概念

阅读更多
Storm中的一些基本概念

Storm:分布式、高容错的实时计算系统。
Topology:拓扑,相当于hadoop中的job,但没有严格的指定开始时间与结束时间。
Spout:Topology中的输入数据流,连接数据源,将各类数据源转换成tuple结构的数据,并序列化,向Bolt输出转化后的数据流。
Bolt:接收Spout的数据流并计算,记录计算结果,并向下一个已订阅的bolt发射结果。
Tuple:storm中的数据结果,key-value格式的列表。
Nimbus:是Storm集群中的主节点(master node)的守护进程,负责在集群里面分发代码,分配工作给机器, 并且监控Topology的运行状态。
Supervisor:是Storm集群中的工作节点(worker node)的守护进程,每一个工作节点上面均会运行一个supervisor,它会监听本台机器的工作状态,并根据需要启动/关闭工作进程。
分享到:
评论

相关推荐

    storm自学文档

    storm概念、基本概念、构建Topology、安装部署、消息的可靠处理

    Storm实战:构建大数据实时计算

     《Storm实战:构建大数据实时计算》是一本系统并且具有实践指导意义的Storm工具书和参考书,对Storm整个技术体系进行了全面的讲解,不仅包括对基本概念、特性的介绍,也涵盖了一些原理说明。  实战性很强,各章节...

    Storm 实战:构建大数据实时计算完整版

    《Storm实战:构建大数据实时计算 》是一本系统并且具有实践指导意义的Storm工具书和参考书,对Storm整个技术体系进行了全面的讲解,不仅包括对基本概念、特性的介绍,也涵盖了一些原理说明。 实战性很强,各章节都...

    Storm简介.pdf

    内容概要: • 实时计算需要解决一些什么问题 • 实现一个实时计算系统 • Storm基本概念 • Storm使用场景 • Storm分组机制

    漫谈大数据第四期-storm

    GitHub上的最新版本是Storm 0.8.0,基本是用Clojure写的。 Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于...

    大数据习题(2024)-大数据概述部分主要考查了大数据的基本概念、特征、发展阶段、思维转变、计算模式等基础知识

    大数据概述部分主要考查了大数据的基本概念、特征、发展阶段、思维转变、计算模式等基础知识。 Hadoop部分重点考查了Hadoop的核心组成、特性、生态系统组件以及HDFS相关的理论和操作。 HBase部分着重考查了HBase作为...

    Storm如何保证可靠的消息处理

    本文来自于博客园,本文介绍了Storm如何保证可靠性以及作为Storm使用者,我们需要怎么做,才能充分利用Storm的可靠性。...PS:本文用到了Storm的一些基本概念,例如Bolt,任务(Task),元组(Tuple),如果不清楚这些概念,

    Storm数据流模型的分析及讨论

    本文来自于博客园,本文首先介绍了Storm的基本概念和数据流模型,然后结合一个典型应用场景来说明Storm支持Topology之间数据流订阅的必要性,最后对比了Storm与另一个流处理系统在数据流模型上的区别之处。Storm是一...

    大数据Spark入门教程

    大数据 Spark Storm 流计算 storm基本概念及架构 案例讲解及开发实践 spark基本概念与架构

    大数据框架对比:Hadoop、Storm、Samza、Spark和Flink

    在之前的文章中,我们曾经介绍过有关大数据系统的常规概念、处理过程,以及各种专门术语,本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据...

    基于Hadoop和Storm的音乐推荐系统设计.docx

    读者可以通过学习本论文,掌握Hadoop的基本概念、工作原理和核心组件,了解其在实际场景中的应用,并能够根据需求进行相应的配置和优化。 其他说明: 本论文采用了系统化的研究方法,包括文献综述、理论分析和实证...

    大数据习题-这是一份大数据相关的考试试卷和一些课程内容概述

    1. 大数据概述部分主要考查了大数据的基本概念、特征、发展阶段、思维转变、计算模式等基础知识。 2. Hadoop部分重点考查了Hadoop的核心组成、特性、生态系统组件以及HDFS相关的理论和操作。 3. HBase部分着重考查...

    pg-strom, PG Strom开发知识库.zip

    pg-strom, PG Strom开发知识库 pgpg strom是PostgreSQL数据库的定制扫描提供程序模块。 它是用于使用GPU设备进行accelarate顺序扫描,hash-基于表的... 它的基本概念是CPU和GPU应该集中在它们具有优势的工作负载上,

    实时计算Samza中文教程.pdf

    本教程高屋建瓴,深入浅出,全面地介绍了Samza的基本概念和框架结构,系统地剖析了Samza的运行机理,并从其数据流处理逻辑的角度详解了其主要的API。本教程适合初学者快速入门,能让你在迅速掌握Samza的同时深刻理解...

    安全数据科学分享.pdf

    • 机器学习的基本概念 • 机器学习在安全领域的应用 • 如何入门和学习安全数据分析 ..... 如何学习安全数据分析? 1、先学习基本的算法原理,补充数学知识——Coursera 上的机器学习课程 2、学习Python的几个机器...

    [Hadoop] 传智播客新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 第二天 hdfs的原理和使用操作、编程 第三天 mapreduce的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 hadoop2.x中HA机制的...

    阿里云javasdk源码-xxhadoop:使用Hadoop/Spark/Storm/ElasticSearch/MachineLearnin

    OLAP:是一个建立数据系统的方法,其核心思想即建立多维度的数据立方体,以维度(Dimension)和度量(Measure)为基本概念,辅以元数据实现可以钻取(Drill-down/up)、切片(Slice)、切块(Dice)等灵活、系统和...

Global site tag (gtag.js) - Google Analytics