论坛首页 Java企业应用论坛

大数据量数据库配置部署方案思考

浏览 27158 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2008-06-19  
业务情况
8个月主要表每张产生了近300万条数据,目前很慢客户反映强烈 ps:如何好用就没我们什么事了。
目前数据库服务器配置 4CPU 8G内存 系统没有服务器端全都是客户端。
还有一台查询服务器,
c/s 结构 数据库 sqlserver2000
每天操作近百笔,用户近百人。
这个系统在设计时没有考虑到这么大的数据量因此没有做什么数据库优化


此问题有以下解决方式:
1、 更换数据库
鉴于MSSqlServer的数据吞吐能力比较低下,因此可采用性能优良的Oracle系列数据库
优点:可以在一定程度上减轻压力。
缺点:价格较高 单CPU 20万左右,且不能彻底解决问题。

2、 集群
可有效的分散数据,减轻单个数据库压力,鉴于MSSqlServer不支持透明集群,可采用数据库分散部署的办法即采用多台服务器部署多个数据库每台数据库包含不同的表。
优点:可靠性伸缩性能好。
缺点:购置服务器费用高昂,需采用跨数据库事务处理性能较差。对系统开发要求较高。

3、 分表
采用将大表分拆成多个小表,采用按时间、类型等方式分拆,使得单次操作数据量控制在可控的范围内。
优点:节省成本。
缺点:系统复杂,对系统开发要求很高。

因为缓存存在很多不确定性不好量化 请大家在不考虑缓存的情况下发表意见。
现在要从c/s结构翻到B/S结构。

大家有什麽思路,应该怎么处理。 说服客户花钱很难,且合同已经签了。
   发表时间:2008-06-19  
系统框架定为:
ajax + struts2 +spring +ibatis
0 请登录后投票
   发表时间:2008-06-19  
8个月才300万条数据,每天操作近百笔,用户近百人,貌似是很小的数据量及用户量。先整体测一测哪里是瓶颈。
0 请登录后投票
   发表时间:2008-06-20  
bottom 写道
8个月才300万条数据,每天操作近百笔,用户近百人,貌似是很小的数据量及用户量。先整体测一测哪里是瓶颈。

目前测试该系统 貌似没有意义吧 况且很难测软件是别人的

我对Sqlserver 能支持的最大数据量不太清楚 这个倒是可以测测。
0 请登录后投票
   发表时间:2008-06-20  
M$的Sql server?那一定是跑在windows上了,啥都不说,先换操作系统,然后再换数据库呗
0 请登录后投票
   发表时间:2008-06-20  
引用
8个月主要表每张产生了近300万条数据



那么主要表有几张呢,如果主要表就一张,那么300w的数据并不算多,

可以这样做,将主要表设置成年表,那么一年一张表就是450w的数据,第二年又是450w的数据。

现在客户反应系统慢很有可能是sql语句造成的,如果可以的话你可以使用jamon来监控一下sql语句的执行情况,然后再作判断。

但是分表是肯定的,否则两年之后这个表就有1000w的数据,n年之后就有450w*n条数据,hoho,我想不切表是不行的
0 请登录后投票
   发表时间:2008-06-20  
还没找到原因呢,你就开始有解决方案了。。。
先查查连接、sql语句吧。
9 请登录后投票
   发表时间:2008-06-20  
如果不是.net平台,先考虑操作系统更换吧,再考虑数据库更换。类似MySQL什么都可以用。
0 请登录后投票
   发表时间:2008-06-20  
SQLServer2000真的很差劲,我们帮一家公司做报表,数据是由另外一家公司的程序产生的。总共才80w多条记录,做起报表来都非常慢,后来不得不考虑做ETL。而对Oracle数据库做的报表,数据量大很多速度也都不错。
0 请登录后投票
   发表时间:2008-06-21  
norwolfli 写道
还没找到原因呢,你就开始有解决方案了。。。
先查查连接、sql语句吧。


请仔细理解我的说明
我写了常见的解决方式 共讨论
什么都不知道 就提问 不是我的作风
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics