`
tianpengwei
  • 浏览: 923 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类
最新评论

写内存,写文件,写数据库,如何权衡!

阅读更多

写内存,写文件,写数据库,如何权衡!
速度比较:写内存>写文件>写数据库
写内存快是快,但是内存中的数据是无法持久化的。
写文件比起写数据库速度快了很多,但是查询统计文件中的数据就非常困难了。
写数据库就是慢,特别是高并发的时候会锁表。

看看流量分析系统是如何权衡这三种的关系的:

流量分析系统会在每个要被统计的网站上放上一段js,每次网站的某一个页面被访问时这段js都会提交一次流量分析系统用与统计PV。所以流量分析系统的并发量是非常大的。
并发量如此之大,所以每次提交的数据不能直接写文件,更不能写数据库,所以只能写内存。在java中可以写入一个Static的Vector中,并用一个线程读取Vector中的数据,并每隔一分钟或半分钟写一次文件,文件名为“年月日时“,所以是每小时会生成一个新的文件。后台用一个perl或python的进程每小时去合并,分析这些文件,最后把分析后的结果会插入到数据库中。


服务器架构:多台日志收集服务器(写内存,线程写文件),一台文件分析服务器(perl,python),一台数据库服务器(oracle)

一起学习讨论一下。高并发下如何快速应对

From: http://www.iteye.com/topic/112455 

分享到:
评论

相关推荐

    架构师考试-快速通关-知识点

    分析-内存数据库和关系数据库 分析-数据持久层定义及优点 分析-数据持久层技术分类 分析-文件系统和关系型数据库 分析-状态图和活动图定义与区别 关系模式 关系运算-比较 管理信息系统规划的方法 架构描述语言-ADL ...

    kissdb:(保持)简单的愚蠢数据库

    哈希表的大小是空间/速度的权衡参数。 较大的哈希表将减少冲突并加快处理速度,但会浪费内存和磁盘空间。 一个好的大小通常约为您期望的平均条目数的1/2。 特征: Tiny,在x86_64 Linux系统上编译为〜4k 内存...

    Django页面数据的缓存与使用的具体方法

    为什么要使用缓存? 一个动态网站的基本权衡点就是,它是动态的。 每次用户请求页面,服务器会重新计算。...而我们知道,内存的读取速度要比硬盘的读取速度快,因此Redis的读取速度要比其他文件型数据库快

    Hadoop实战(第2版)

    2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据源2.3 将数据导出Hadoop 2.3.1 将数据导入本地文件系统技术点8 自动复制HDFS 中的文件2.3.2 数据库技术点9 使用Sqoop 将...

    Python编程入门经典

    15.9.1 能力权衡 259 15.9.2 内存考虑 259 15.9.3 速度考虑 259 15.10 Python中可用的SAX 和DOM解析器 259 15.10.1 xml.sax 259 15.10.2 xml.dom.minidom 260 15.11 XSLT简介 262 15.11.1 XSLT是XML 262 15.11.2 ...

    Java聊天室程序源码(毕业设计)

    1.接受用户注册信息并保存在一个基于文件的对象型数据库。 2.能够允许注册过的用户登陆聊天界面并可以聊天。 3.能够接受私聊信息并发送给特定的用户。 4.服务器运行在自定义的端口上#1001。 5.服务器监控用户列表和...

    Java聊天室程序(源代码)

    1.接受用户注册信息并保存在一个基于文件的对象型数据库。 2.能够允许注册过的用户登陆聊天界面并可以聊天。 3.能够接受私聊信息并发送给特定的用户。 4.服务器运行在自定义的端口上#1001。 5.服务器监控用户列表和...

    java Socket实现聊天程序

    1.接受用户注册信息并保存在一个基于文件的对象型数据库。 2.能够允许注册过的用户登陆聊天界面并可以聊天。 3.能够接受私聊信息并发送给特定的用户。 4.服务器运行在自定义的端口上#1001。 5.服务器监控用户列表和...

    Java聊天室程序源码

    1.接受用户注册信息并保存在一个基于文件的对象型数据库。 2.能够允许注册过的用户登陆聊天界面并可以聊天。 3.能够接受私聊信息并发送给特定的用户。 4.服务器运行在自定义的端口上#1001。 5.服务器监控用户列表和...

    JavaChatroom

    1.接受用户注册信息并保存在一个基于文件的对象型数据库。 2.能够允许注册过的用户登陆聊天界面并可以聊天。 3.能够接受私聊信息并发送给特定的用户。 4.服务器运行在自定义的端口上#1001。 5.服务器监控用户列表和...

    南开20春学期《大学计算机基础》在线作业解答全貌.docx

    A 计算机的价格 B 计算机的内存 C 计算机的CPU D 计算机的电源 答案:C 18 软件是一系列按照特定顺序组织的计算机指令和( )的集合。 A 数据 B 资源 C 任务 南开20春学期《大学计算机基础》在线作业解答全貌全文共...

    ASP3《高级编程》(第一部分)

    13.4.3 设计权衡 430 13.4.4 设计小结 431 13.5 小结 432 第14章 COM、COM+和ASP 433 14.1 COM的内容 433 14.1.1 COM无处不在 434 14.1.2 COM+的三个方面 434 14.1.3 COM开发工具 436 14.2 接口 437 ...

    ASP3《高级编程》(第二部分)

    13.4.3 设计权衡 430 13.4.4 设计小结 431 13.5 小结 432 第14章 COM、COM+和ASP 433 14.1 COM的内容 433 14.1.1 COM无处不在 434 14.1.2 COM+的三个方面 434 14.1.3 COM开发工具 436 14.2 接口 437 ...

    工程硕士学位论文 基于Android+HTML5的移动Web项目高效开发探究

    Sqlite 一款轻型的数据库,是遵守ACID的关系型数据库管理系统,它包含在一个相对小的C库中 W3C 万维网联盟,创建于1994年,是Web技术领域最具权威和影响力的国际中立性技术标准机构。主要的工作是发展 Web 规范,...

Global site tag (gtag.js) - Google Analytics