`
kabike
  • 浏览: 597891 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

storm实现迷你批量提交

 
阅读更多
storm中有种应用场景,是迷你批量,比如积攒一定数量的tuple,超过一定时间或者数量之后,把这些tuple统一处理.
想到了以下三种思路
1 在bolt中额外启动一个线程.不过在bolt中启动线程就要考虑并发的问题
2 定义另一个command stream,根据需要向这个command stream发tuple.bolt根据tuple的sourceStreamId判断是正常的stream
还是command stream.
这样需要在建立拓扑时有一些额外操作,比如为command stream建立一个spout,每个bolt用allGrouping从command stream的spout来接收命令
3 如果只是单纯想获得定时tick,可以设置Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS,这样bolt就会在指定的间隔下收到特定的tuple
分享到:
评论

相关推荐

    storm实现井字棋游戏源码

    storm实现井字棋游戏源码, 详情见博文:http://blog.csdn.net/l1028386804/article/details/79149418

    Storm实现的应用模型研究

    Storm实现的应用模型研究,是关于大数据的文献资料。

    Storm API实现词频统计

    此案例使用的是IDEA开发工具,项目属于maven项目 该词频统计案例中,数据源是自动产生的(java程序自定义生成的),针对自定义生成的数据完成词频统计,完成后打包上传到storm程序中执行

    批量下载】storm环境搭建v1等.zip

    strom hadoop,批量下载】storm环境搭建v1等.zip批量下载】storm环境搭建v1等.zip

    使用Storm实现实时大数据分析.doc

    使用Storm实现实时大数据分析.doc

    Storm实现的应用模型研究_邓立龙.pdf

    Storm实现的应用模型研究_邓立龙.pdf

    Storm入门教程 之Storm原理和概念详解

    3、分享积累的经验和技巧,从架构的角度剖析场景和设计实现方案; 4、讲师Cloudy具有丰富的电商云平台架构经验,对流计算更是涉足早、沉淀深,课程依然沿用重实践、重实战的风格。 学习此课程需要具有: Java基础...

    storm chm文档

    storm chm文档 ,使用Storm实现实时大数据分析,storm源码学习

    大数据-Storm实时数据处理

    在大数据领域,Hadoop无疑是最炙手可热的技术。作为分布式系统架构,Hadoop具有高可靠性、高扩展性、... 《大数据技术丛书:Storm实时数据处理》适合想学习实时处理技术或者想通过Storm实现实时处理方法的开发者阅读。

    Storm篇.代码提交到Storm集群运行-附件资源

    Storm篇.代码提交到Storm集群运行-附件资源

    细细品味Storm_Storm简介及安装

    第7章演示集成Storm和非事务型系统 的复杂性,通过集成Storm和开源探索性分析架构 Druid实现一个可配置的实时系统来分析金融事件。 第8章探讨Lambda体系结构的实现方法,讲解如何 将批处理机制和实时处理引擎结合...

    Storm实战构建大数据实时计算

    Storm官方网站有段简介 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。

    storm-ui:Apache Storm 的用户界面

    主分支: ##包裹包战 mvn clean package -DskipTests=true -Dwarcp ./target/storm-ui.war $TOMCAT_HOME/webapps/包装罐 mvn clean package -DskipTests=truecp ./target/storm-ui-*.jar $STORM_HOME/external/...

    《Storm实时数据处理》PDF.zip

    系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器...

    Flume+kafka+Storm整合

    Flume+kafka+Storm整合 示例简介: 以下为三个组建整合,这里只做操作也演示结果,原理性方面大家多学习基础。 流程顺序是flume获取telnet数据,将接收到的数据发送至kafak,kafka作为Storm的spout,Storm进行有向无...

    Storm综合案例二Storm集群向Kafka集群读取数据并写入MySQL远程模式

    介绍 今天接上文,来实现一个Storm数据流处理综合案例的第二部分,Storm集群向Kafka集群源源不断读取数据,通过MyBatis写入到MySQL数据库,并部署为远程模式 ...具体实现了全量查询和批量更新或插入的接口功能

    基于Storm的短信诈骗拦截提示系统的设计与实现

    基于Storm的短信诈骗拦截提示系统的设计与实现

    storm入门.pdf

    storm的入门,东西很不错!看完就算是基本入门啦!!还等什么?

Global site tag (gtag.js) - Google Analytics