`

eBay 的数据库分布扩展架构

阅读更多

eBay 的数据库分布扩展架构

网址:

 

在过去的 Blog 中, 我(插一嘴:这里的"我" 如果替换成 "Fenng" 似乎有些自恋, 也不是我喜欢的行文语气, 可发现转贴不留名的行为太多了,他大爷的) 曾经介绍过 《eBay 的应用服务器规模》 , 也介绍过 《eBay 的数据量》 ,在这篇文章中提到过 "eBay 购买了 Quest Share Plex 全球 Licence 用于数据复制",这个地方其实没有说开来。

对于 eBay 这样超大规模的站点来说,瓶颈往往最容易在数据库服务器上产生,必定有一部分数据(比如交易记录这样不容易水平分割的数据)容易带来大量的读操作,而不管用什么存储,能承担的 IO 能力是有限的。所以,如果有效的分散 IO 的承载能力就是一个很有意义的事情。

经过互联网考古学不断挖掘,路路续续又现了一些蛛丝马迹能够多少说明一些问题。客观事实加上主观想象,简单的描述一下。见下图:

ebay_shareplex_F5.jpg

通过 Quest 公司的 Share Plex 近乎实时的复制数据到其他数据库节点,F5 通过特定的模块检查数据库状态,并进行负载均衡,IO 成功的做到了分布,读写分离,而且极大的提高了可用性。F5 真是一家很有创新性的公司,虽然从这个案例来说,技术并无高深之处,但方法巧妙,整个方案浑然一体。

F5公司专门为Oracle 9i 数据库开发了专用的健康检查模块,通过调用F5专有的扩展应用校验(EAV)进程,F5能够随时得到Oracle 9i数据库的应用层服务能力而不是其他的负载均衡设备所采用的 ICMP/TCP 层进行健康检查。

这个图来自一篇《F5助力eBay数据库服务器负载均衡》的软文,真是一篇很好的软文,国外恐怕不会出现这样"含金量"极高的东西。

当然,这个技术架构可不算便宜。Quest 的 Share Plex License 很贵,而且,对于每个结点来说,都需要数据库 License 与硬件费用。但优点也很多:节省了维护成本; 数据库层面的访问也能做到 SOA; 高可用性。

国内的一些厂商比较喜欢给客户推存储级别的解决方案。通过存储底层复制来解决数据分布以及灾备问题。这个思路似乎太传统了,对于互联网企业来说多少有点过时。

BTW : 对 Amazon 的存储架构非常感兴趣,谁/哪里能提供点线索呢?

分享到:
评论

相关推荐

    网站架构及高性能并发服务器设计

     eBay 的数据库分布扩展架构 68  从LiveJournal后台发展看大规模网站性能优化方法 70  中国顶级门户网站架构分析1 116   中国顶级门户网站架构分析 2 118  服务器的大用户量的承载方案 120  YouTube ...

    高性能高并发服务器架构大全

     eBay 的数据库分布扩展架构 68  从LiveJournal后台发展看大规模网站性能优化方法 70 一、LiveJournal发展历程 70 二、LiveJournal架构现状概况 70 三、从LiveJournal发展中学习 71 1、一台服务器 71 2、...

    NoSQL数据库笔谈

    1. 序 2. 思想篇 CAP 最终一致性 变体 BASE 其他 I/O的五分钟法则 不要删除数据 RAM是硬盘,硬盘是磁带 Amdahl定律和Gustafson定律 万兆以太网 3. 手段篇 一致性哈希 亚马逊的现状 ...eBay 架构经验

    大数据云计算技术系列 NoSQL数据库学习教程(共71页).pdf

    5 eBay 架构经验 5 淘宝架构经验 5 Flickr架构经验 5 Twitter运维经验 5 运维经验 5 Metrics 5 配置管理 5 Darkmode 5 进程管理 5 硬件 5 代码协同经验 5 Review制度 5 部署管理 5 团队沟通 5 Cache 5 云计算架构 5 ...

    微服务架构实践116页.pptx

    微服务架构已经在许多电商大平台中得到了实践,例如Amazon、eBay、阿里巴巴等。微服务架构在电商大平台中的实践可以带来许多益处,例如提高系统的可扩展性、可靠性和灵活性,降低系统的耦合度和维护成本。 8. ...

    大型网站架构演变和知识体系

    介绍大型网站架构演变的文章,例如LiveJournal的、ebay的,都是非常值得参考的,不过感觉他们讲的更多的是每次演变的结果,而没有很详细的讲为什么需要做这样的演变,再加上近来感觉有不少同学都很难明白为什么一个...

    实时大数据分析平台EbayPulsar.zip

    他实现了一个开放的,自动发现的Topology, 不同的应用可以分布在不同的Data center, 通过网络进行自动的发现并且建立连接,数据主动从Producer推送到Subscriber. 在每个应用内部,通过Pipeline的方式连接各个业务...

    PHP经典实例(第2版)

    书中更新了PItP5的有关内容,并详细地解释了如何使用新增的语言特性,比如面向对象能力的巨大改进和新的PD0数据访问扩展等。书中特别增加了有关类和对象的部分,包含了以下基本内容:处理XM;与JavaScript交互;用...

    PHP经典实例

    书中更新了PItP5的有关内容,并详细地解释了如何使用新增的语言特性,比如面向对象能力的巨大改进和新的PD0数据访问扩展等。书中特别增加了有关类和对象的部分,包含了以下基本内容:处理 XM;与JavaScript交互;用...

    大数据掘金.doc

    同时,他们将这些信息通 过云计算平台与供应商和物流商的数据库联网,实时调整价格、自动补货、跟踪物流, 轻松在各门店之间调配产品,实现了生产到终端消费者的无缝连接,大幅提升了对市场 的反应速度。 一家地产...

    plone 4.2.1

    Plone的权限沙箱架构确保您的系统有安全漏洞,入侵者将不可能访问您的服务器或者您的网络。 4) 信息聚合和分发 聪明的文件夹,聪明地更新内容。Plone自动地从文件夹、搜索结果等中生成RSS聚合信息 - 这是站在信息...

    Hadoop实战(第2版)

    尤其适用于大数据系统,Hadoop为苹果、eBay、LinkedIn、雅虎和Facebook等公司提供重要软件环境。它为开发者进行数据存储、管理以及分析提供便利的方法。 《Hadoop硬实战》收集了85个问题场景以及解决方案的实战演练...

    新版Android开发教程.rar

    � MVC 和 Web APP 架构 Android Android Android Android 开发背景 � 计算技术、无线接入技术的发展,使嵌入式系统逐渐有能力对桌面系统常规业务进行支持。 � 谷歌长期以来奉行的移动发展战略:通过与全球各地的...

Global site tag (gtag.js) - Google Analytics