滑动窗口在storm中的实现

问题导读：
1.滑动的触发由谁来完成？
2.你认为滑动窗口与storm该如何结合？
3.滑动窗口与storm结合是如何实现的？

 

这里需要对storm有所了解，可以参考总体认识storm包括概念，场景，组成，明白storm之后，我们继续下面内容。


这里首先需要明白一个场景，那就是这个滑动窗口是什么窗口，about云首页位置，如下图所示，这个便是滑动窗口的一个例子，但是本文讲的不是图片的滑动，而是数据页面的滑动，明白了这个问题，我们继续向下看。

<ignore_js_op style="word-wrap: break-word; font-stretch: normal;"> 


滑动窗口在监控和统计应用的场景比较广泛，比如每隔一段时间(10s)统计最近30s的请求量或者异常次数，根据请求或者异常次数采取相应措施；这里说一下滑动窗口在storm中实现的原理。参见下图：

<ignore_js_op style="word-wrap: break-word; font-stretch: normal;"> 



窗口大小为30s，每10s就统计一次，那么窗口一共有3个slot，可以对窗口建立长度为3的数组；在storm的blot中在10s内通过execute(tuple)功能不停的把接收的tuple进行count个数(假如内置变量为tuple_count)，每10s会自动触发滑动窗口的移动工作(Array[slot3]=》Array[slot2]，Array[slot2]=》Array[slot1])，并存储当前tuple_count值到Array[slot3] ，随之可以进行统计窗口的数据了。

那么如何每10s进行自动触发，storm有一个TickTuple可以满足这个要求，
"__system" component会定时往task发送 "__tick" stream的tuple
发送频率由TOPOLOGY_TICK_TUPLE_FREQ_SECS来配置, 可以在default.ymal里面配置
也可以在代码里面通过getComponentConfiguration()来进行配置,

1. public Map<string, object="" style="word-wrap: break-word;"> getComponentConfiguration() {
2. Map<string, object="" style="word-wrap: break-word;"> conf = new HashMap<string, object="" style="word-wrap: break-word;">();
3. conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, emitFrequencyInSeconds);
4. return conf;

复制代码

配置完成后, storm就会定期的往task发送ticktuple
只需要通过isTickTuple来判断是否为tickTuple, 就可以完成定时触发的功能

1. public static boolean isTickTuple(Tuple tuple) {
2. return tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID) SYSTEM_COMPONENT_ID == "__system"
3. && tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID); SYSTEM_TICK_STREAM_ID == "__tick"
4. }

复制代码

 

http://www.dataguru.cn/article-5585-1.html