浏览 5223 次
锁定老帖子 主题:写内存,写文件,写数据库,如何权衡!
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2007-08-15
速度比较:写内存>写文件>写数据库 写内存快是快,但是内存中的数据是无法持久化的。 写文件比起写数据库速度快了很多,但是查询统计文件中的数据就非常困难了。 写数据库就是慢,特别是高并发的时候会锁表。 看看流量分析系统是如何权衡这三种的关系的: 流量分析系统会在每个要被统计的网站上放上一段js,每次网站的某一个页面被访问时这段js都会提交一次流量分析系统用与统计PV。所以流量分析系统的并发量是非常大的。 并发量如此之大,所以每次提交的数据不能直接写文件,更不能写数据库,所以只能写内存。在java中可以写入一个Static的Vector中,并用一个线程读取Vector中的数据,并每隔一分钟或半分钟写一次文件,文件名为“年月日时“,所以是每小时会生成一个新的文件。后台用一个perl或python的进程每小时去合并,分析这些文件,最后把分析后的结果会插入到数据库中。 服务器架构:多台日志收集服务器(写内存,线程写文件),一台文件分析服务器(perl,python),一台数据库服务器(oracle) 一起学习讨论一下。高并发下如何快速应对。 声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |
发表时间:2007-08-15
恩,我们以前做的一个日志分析系统也是这样做的,全JAVA写的!理论上是一样的!
|
|
返回顶楼 | |
发表时间:2007-08-19
我目前正在做一个监控系统,也遇到这种问题.目前的做法是:缓存-定时分析写库.将库中分析结果反映到监控画面.但是实时性比较差.
|
|
返回顶楼 | |
发表时间:2007-08-20
我以前的做法是创建一个jms的连接池,收到数据就从池里面抓出来一个连接,把数据发到jms队列,由消息bean自己异步处理.只要不新建连接,发消息的速度是相当快的
|
|
返回顶楼 | |
发表时间:2007-08-20
bromon 写道 我以前的做法是创建一个jms的连接池,收到数据就从池里面抓出来一个连接,把数据发到jms队列,由消息bean自己异步处理.只要不新建连接,发消息的速度是相当快的
我也用这种方式,总之就是用异步方式处理这种问题,可以用jms+mdb或者工作队列 |
|
返回顶楼 | |