论坛首页 Java企业应用论坛

互联网网站架构升级----分布式环境的构建

浏览 24924 次
该帖已经被评为良好帖
作者 正文
   发表时间:2010-09-30  
javatracker 写道
J-catTeam 写道
javatracker 写道
J-catTeam 写道
javatracker 写道
dennis_zane 写道
楼主这一套东西,基本上是把淘宝内部的架构搬过去了,做大了面临的问题一样。不知道楼主现在在什么公司?



呵呵 是的,好的架构就是要推广嘛,淘宝当初也是很大程度上参考了ebay的架构。公司名就不说了,公司在快速膨胀,架构需要升级。公司短期内肯定达不到淘宝的流量,淘宝目前的问题一段时期内不会遇到,但不同的公司有不同的业务,基础框架就是为业务服务的,会根据业务和发展方向做出调整。

贵公司具体的应用情况是怎么样的呢?
系统的规模,机器的数量。pv,目前的瓶颈什么的。
就拿分布式数据层来说,应用场景是很有限的。


具体细节就不说了,牵涉到具体公司就不好了,分布式数据层这块看业务,不是一下子就把所有功能都用上的,比如刚开始可能分库分表的业务需求并不强烈,但读写分离需求还是比较明显的,那就先上这一块的,再后面多机房容灾也是需要做的,所以功能并不是一下就全部上去,主要根据业务,这个是一个长期的过程。

业务对数据一致性怎么要求的呢?


和交易和钱相关的肯定要强一致性的,其他的主要看具体业务,如果业务方可以容忍数据的短暂不一致性,那么就可以用异步来解偶。

公司是目前有这方面的计划? 还是已经有一定的产品了啊?  这些东西发展起来需要很长时间呢。 效率,稳定,容错===
0 请登录后投票
   发表时间:2010-09-30  
都没有啥机会接触这样的项目,拿凳子垫脚围观。
0 请登录后投票
   发表时间:2010-09-30  
cantellow 写道
已经+好友关注了
对楼主有好感
原因有三点:
1.同样对分布式通信感兴趣
2.楼主的思路很清晰
3.头像是鹰眼和zoro,海贼历出新漫画了,憋了我一个月。。
2年后娜美的身材真给力啊。


呵呵 知己啊
0 请登录后投票
   发表时间:2010-09-30  
yanwt 写道
我们现在用的是楼主的一种简化架构,如下图:

暂时没有实现监控部分。


一般公司这种架构也可以了。如果可以预见未来几年有较大发展的话可以考虑升级一下。

hessian最大的好处是http协议,但也有坏处是本身需要硬负载或者直接输入IP没负载
0 请登录后投票
   发表时间:2010-09-30   最后修改:2010-09-30
hatedance 写道
LZ的方案超复杂。
是不是如果有一个超强的数据库集群+N个web服务器做负载均衡就能解决这个问题呢?


可以解决,但扩展性会有问题。

业务拆分可以根据不同业务进行横向拆分,但根据业务的前后端又可以纵向拆分,这个取决于业务的复杂度。

上面的方面只能解决横向拆分问题,不能解决纵向拆分问题。
0 请登录后投票
   发表时间:2010-09-30  
J-catTeam 写道
javatracker 写道
J-catTeam 写道
javatracker 写道
J-catTeam 写道
javatracker 写道
dennis_zane 写道
楼主这一套东西,基本上是把淘宝内部的架构搬过去了,做大了面临的问题一样。不知道楼主现在在什么公司?



呵呵 是的,好的架构就是要推广嘛,淘宝当初也是很大程度上参考了ebay的架构。公司名就不说了,公司在快速膨胀,架构需要升级。公司短期内肯定达不到淘宝的流量,淘宝目前的问题一段时期内不会遇到,但不同的公司有不同的业务,基础框架就是为业务服务的,会根据业务和发展方向做出调整。

贵公司具体的应用情况是怎么样的呢?
系统的规模,机器的数量。pv,目前的瓶颈什么的。
就拿分布式数据层来说,应用场景是很有限的。


具体细节就不说了,牵涉到具体公司就不好了,分布式数据层这块看业务,不是一下子就把所有功能都用上的,比如刚开始可能分库分表的业务需求并不强烈,但读写分离需求还是比较明显的,那就先上这一块的,再后面多机房容灾也是需要做的,所以功能并不是一下就全部上去,主要根据业务,这个是一个长期的过程。

业务对数据一致性怎么要求的呢?


和交易和钱相关的肯定要强一致性的,其他的主要看具体业务,如果业务方可以容忍数据的短暂不一致性,那么就可以用异步来解偶。

公司是目前有这方面的计划? 还是已经有一定的产品了啊?  这些东西发展起来需要很长时间呢。 效率,稳定,容错===


是的,这是一个长期的过程,目前只有最初级的一点东西,具体可以看其他博文
0 请登录后投票
   发表时间:2010-09-30   最后修改:2010-09-30
javatracker 写道
yanwt 写道
我们现在用的是楼主的一种简化架构,如下图:

暂时没有实现监控部分。


一般公司这种架构也可以了。如果可以预见未来几年有较大发展的话可以考虑升级一下。

hessian最大的好处是http协议,但也有坏处是本身需要硬负载或者直接输入IP没负载


负载应该没问题吧,可以使用LVS或Nginx实现,图中APP1和APP2都可以是集群环境。
0 请登录后投票
   发表时间:2010-09-30  
yanwt 写道
javatracker 写道
yanwt 写道
我们现在用的是楼主的一种简化架构,如下图:

暂时没有实现监控部分。


一般公司这种架构也可以了。如果可以预见未来几年有较大发展的话可以考虑升级一下。

hessian最大的好处是http协议,但也有坏处是本身需要硬负载或者直接输入IP没负载


负载应该没问题吧,可以使用LVS或Nginx实现


恩 也可以,但这种负载没办法纳入集中控制环节
0 请登录后投票
   发表时间:2010-09-30  
javatracker 写道
yanwt 写道
javatracker 写道
yanwt 写道
我们现在用的是楼主的一种简化架构,如下图:

暂时没有实现监控部分。


一般公司这种架构也可以了。如果可以预见未来几年有较大发展的话可以考虑升级一下。

hessian最大的好处是http协议,但也有坏处是本身需要硬负载或者直接输入IP没负载


负载应该没问题吧,可以使用LVS或Nginx实现


恩 也可以,但这种负载没办法纳入集中控制环节

这个确实是个问题,没有集中管理监控环节。
0 请登录后投票
   发表时间:2010-09-30  
zhxing 写道
期待下面的文章。。。公司也是采用分布式架构。。希望能有更深入的讲解和讨论。。
比如分布式数据分页查询和主键分配等策略。。不知道lz是自己实现还是借助第三方的


后面会逐个分析,分页查询在分布式数据层上是个问题,被分库分表后的数据尽量避免联合查询,如果真的无法避免应该尽可能的在应用层解决,当然框架也会支持,但效率可能会是个问题。

这个数据层有利有弊,并不是所有的数据库操作都要用到分库分表的功能,应尽量避免使用这个功能,如果真的无法避免,那也不得不舍弃某方面的东西来获得这方面的利益。

主键支持不是大问题。

准备参考第三方实现自己做。
1 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics