论坛首页 综合技术论坛

存储过程真的好快!

浏览 36309 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (1)
作者 正文
   发表时间:2008-05-07  
ygxdha 写道

有点疑惑,如果把大量的业务逻辑放到webserver来处理,那么webserver和dbserver之间数据的传输量肯定会比把业务放到dbserver进行处理,然后dbserver只返回少量处理后的数据多。
当访问量大规模提高之后,webserver和dbserver这种传输的消耗肯定也要打规模提高。这个地方如果出现瓶颈是能用添加服务器来解决的?


嘿嘿,真的那么肯定吗?你给我一个具体的数字告诉我,究竟提高到什么程度,每秒要传输多少MB的数据?不要空对空的扯淡。

我不妨给你一个数据参考参考,JavaEye每天是70万页面访问量,处理80万动态请求,访问峰值的时候Web服务器和DB服务器之间的网络数据传输量是2MB每秒,平均每秒传输不到1MB。 我就算你的企业应用系统每天有800万动态请求,你服务器之间的峰值数据传输量也不过20MB每秒而已。好吧,也许你又说JavaEye处理的数据量不够大,我再给你扩大5倍,算你峰值每秒数据传输量100MB,够不够大? 可即便如此,现在随随便便的普通台式机的网卡都已经是千兆网卡了,处理你这峰值每秒100MB简直轻而易举,更不要说专用的高速服务器网卡了。对于大规模的群集应用,有更加高速的光纤,每秒几GB都不成问题,但你要真有每秒几GB的数据量,嘿嘿,老实告诉你,中国还没有多少企业应用系统有这么大的网络数据传输的需求。




0 请登录后投票
   发表时间:2008-05-07  
我只希望大家记住一点:数据库服务器出现CPU和IO瓶颈,你没有办法扩展,但是应用服务器出现CPU和IO瓶颈,你只需要加服务器就行了。

robbin 你能给出一个具体的数字么?究竟提高到什么程度?

当然JavaEye这类网站这类的应用,我是同意的观点。
   我想这个帖子是在业务系统为主的前提下
      
0 请登录后投票
   发表时间:2008-05-07  
mcpssx 写道

java处理业务肯定不如SQL,PL/SQL可以一句顶一万句,JAVA里面好多都是废话,比如jdbc里面的什么准备statment啊之类的。

你这就说的牵强了,jdbc里的PreparedStatement你以为是他专门搞出来的东西?他就是直接对应数据库的特性而来的,你没用过数据库的PreparedStatement吧?用SQL也可以直接写的PreparedStatement的,同样使用?做占位符,然后多次输入参数多次执行。
0 请登录后投票
   发表时间:2008-05-07  
phlsbg 写道
我只希望大家记住一点:数据库服务器出现CPU和IO瓶颈,你没有办法扩展,但是应用服务器出现CPU和IO瓶颈,你只需要加服务器就行了。

robbin 你能给出一个具体的数字么?究竟提高到什么程度?

当然JavaEye这类网站这类的应用,我是同意的观点。
   我想这个帖子是在业务系统为主的前提下
      

比方说我2005年给X行咨询的一个关于全行票据交易的项目,很繁重的业务运算,一开始跑的还挺快,但上了十几个省的分行以后,一个WebSphere顶不住了,繁忙的时候页面响应很慢,几乎出不来了。于是我们做了水平和垂直群集,两台HP9000的小型机跑应用服务器,每台小型机上面跑两个WebSphere实例,做垂直群集,小型机之间再做水平群集。总共是4个WebSphere实例的群集,这下业务系统就恢复了正常。等全国30省的所有分行全部开放以后,每天还是跑得稳稳的。如果业务量再大,还可以继续添加服务器和WebSphere实例。如果你都把业务放在数据库里面实现,我看你怎么扩展数据库和硬件?

0 请登录后投票
   发表时间:2008-05-07  
robbin 写道
暂且不谈开发效率、维护性的问题,业务逻辑用存储过程来实现最大的危害在于,你没有办法进行群集扩展!

金融和电信行业的确在数据库服务器的硬件投资少不会吝惜,但是数据库服务器是单点的,极难扩展,即便Oracle的群集,他的共享存储数据库也是单点的,如果业务逻辑的运算非常消耗CPU和IO,你没有任何有效的办法来扩展系统的性能。

对于并非极度依赖数据的业务逻辑运算,如果在应用服务器端来实现的话,特别是采用SNA架构的情况下,理论上可以获得无限的水平扩展能力,只要加服务器就行了。但如果你放在数据库里面,你就大眼瞪小眼了,加服务器都不管用了。

对于那些对于性能要求极度苛刻的大负载应用,比方说阿里巴巴,拥有中国最强的Oracle DBA团队,已经把Oracle的配置优化到极限,已经把SQL优化到极限了。他们绝对不允许程序员把业务逻辑写成存储过程,甚至不允许程序员创建触发器、不允许程序员创建表的外键约束,外键关系自己在程序里面维护。凡是能够在应用层进行检查的工作绝不能放在数据库层,加重数据库服务器的负担。

我只希望大家记住一点:数据库服务器出现CPU和IO瓶颈,你没有办法扩展,但是应用服务器出现CPU和IO瓶颈,你只需要加服务器就行了。




对于并非极度依赖数据的业务逻辑运算,如果在应用服务器端来实现的话,特别是采用SNA架构的情况下,理论上可以获得无限的水平扩展能力,只要加服务器就行了。但如果你放在数据库里面,你就大眼瞪小眼了,加服务器都不管用了
--
这儿robbin加了一个条件,对于并非极度依赖数据的业务逻辑运算。加得很好。

所以,关于PL/SQL有两点想说一下:

1.非极度依赖数据库的业务逻辑,我想不会有人放到PL/SQL中去。

2.设放在pl/sql里的都是那种极度依赖数据的业务逻辑(我们公司就是这样)。
来来回回的找表运算,来来回回,运算。
这种运算。你从PL/SQL中抽出,现在放到应用端来做。
好,过了一年,发现数据量大了,速度不够用了。
这个时候你加应用服务器有用吗?没有用,加再多都不行。
因为真正的耗时最终还是被传递到DB上面。你只能加强,优化DB。没有别的办法。
0 请登录后投票
   发表时间:2008-05-07  
robbin 写道
phlsbg 写道
我只希望大家记住一点:数据库服务器出现CPU和IO瓶颈,你没有办法扩展,但是应用服务器出现CPU和IO瓶颈,你只需要加服务器就行了。

robbin 你能给出一个具体的数字么?究竟提高到什么程度?

当然JavaEye这类网站这类的应用,我是同意的观点。
   我想这个帖子是在业务系统为主的前提下
      

比方说我2005年给X行咨询的一个关于全行票据交易的项目,很繁重的业务运算,一开始跑的还挺快,但上了十几个省的分行以后,一个WebSphere顶不住了,繁忙的时候页面响应很慢,几乎出不来了。于是我们做了水平和垂直群集,两台HP9000的小型机跑应用服务器,每台小型机上面跑两个WebSphere实例,做垂直群集,小型机之间再做水平群集。总共是4个WebSphere实例的群集,这下业务系统就恢复了正常。等全国30省的所有分行全部开放以后,每天还是跑得稳稳的。如果业务量再大,还可以继续添加服务器和WebSphere实例。如果你都把业务放在数据库里面实现,我看你怎么扩展数据库和硬件?



问个问题,这些繁重的业务运算严重依赖数据库吗?
0 请登录后投票
   发表时间:2008-05-07  
引用
2.设放在pl/sql里的都是那种极度依赖数据的业务逻辑(我们公司就是这样)。
来来回回的找表运算,来来回回,运算。
这种运算。你从PL/SQL中抽出,现在放到应用端来做。
好,过了一年,发现数据量大了,速度不够用了。
这个时候你加应用服务器有用吗?没有用,加再多都不行。
因为真正的耗时最终还是被传递到DB上面。你只能加强,优化DB。没有别的办法。


对于大数据量的OLAP运算,根本不能放在应用服务器端来执行。因为很容易就会让你的应用服务器内存溢出,导致你整个业务系统无法访问。

对于企业应用来说,有的是OLTP型的,有的是OLAP型的,也有兼而有之的。对于OLTP型的应用逻辑一定要放在应用服务器来执行,而对于OLAP型的应用的确适合使用存储过程来实现,用应用服务器去运算根本不行。不过一般说来,大部分的OLAP运算并不是实时性要求很高的,所以往往可以用存储过程实现以后,作为后台任务定期执行,这些后台任务往往会执行好几个小时才能结束,然后把执行结果保存下来。让应用服务器在展示报表的时候读取最终查询结果。

0 请登录后投票
   发表时间:2008-05-07  
WebSphere集群主要解决的是什么问题?和存储过程有关系么?


web集群、中间件集群、数据库集群每个层面都有自己主要解决的领域

因为真正的耗时最终还是被传递到DB上面。你只能加强,优化DB。没有别的办法。
0 请登录后投票
   发表时间:2008-05-07  
phlsbg 写道
WebSphere集群主要解决的是什么问题?和存储过程有关系么?


web集群、中间件集群、数据库集群每个层面都有自己主要解决的领域

因为真正的耗时最终还是被传递到DB上面。你只能加强,优化DB。没有别的办法。


应用服务器群集和存储过程本来没有什么关系。但如果有人说,业务逻辑应该写在存储过程里面,就有非常大的关系了。而这个帖子所要讨论的问题就是:业务逻辑究竟应该还不应该写在存储过程里面。显然很多人认为:不管三七二十一,业务逻辑都应该放在存储过程里面。

而我要告诉大家的是,除了那些对大数据处理非常依赖的操作,其他所有的业务逻辑统统不应该用存储过程来实现,而应该放在应用服务器层实现。而WebSphere群集解决的就是当应用层业务逻辑负载太大的情况下,如何进行扩展的问题。

不过话说回来,并不是每个企业应用的瓶颈都在数据库端,即便瓶颈在数据库端,不一定非要通过优化DB来解决,其他的办法多的是。


0 请登录后投票
   发表时间:2008-05-07  

  
   任何问题不要一刀切,要么都放在Java中,要么都放在存储过程中

然很多人认为:不管三七二十一,业务逻辑都应该放在存储过程里面。
同理,
然很多人认为:不管三七二十一,业务逻辑都应该放在Java中。

   
0 请登录后投票
论坛首页 综合技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics