海量结构化数据的计算探讨

电信运营商每天需要对生产系统产生的海量数据进行分析，首先要从各远端生产系统提取数据，清洗加工等等（ETL），后续就是数据的运算处理，数据量相当大，每天都是TB级，但主要以结构化数据为主，故对于此类有钱的主必然使用oracle。

 

据我观察对于数据的处理基本上都是采用存储过程进行处理，举个简单的例子，抽取用户的3个月消费数据进行一些类似平均本地通话时长，平均本地通话费用...等等诸如此类的运算。最直接的思路就是写个存储过程，分别取这3个月的消费数据放入表A中，通过分组、求和、平均即可得出指标，然后将运算结果插入目标结果表B。

 

在此，请问各位大牛，在遇到此种场景如何进行处理的？

<!--EndFragment-->

评论

1 楼 smll8402 2012-03-08  

我们处理大数据量的时候一般是写入静态表，前台要什么数据只需要去表态表取就可以了。