作者: Fenng
|
可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/arch/ebay_storage.html
前年在帖子里介绍过 eBay 数据量超过 2PB
,这么大的数据量管理和规划是需要一些艺术的,可惜网络上能得到的信息太少。最近又找到一篇关于 eBay 存储的介绍
,这篇文章通过访问 William Crosby-Lundin
(这位老兄现在已经跳槽到 SalesForce了)披露了一些数据,虽然该文距离现在有一年了,还是对我有不少参考价值。
eBay 存储团队当时 12 个人,管理 13 套存储,总容量 2PB 左右(不要刻舟求剑,现在超过 8 PB
,2008-08-04)
了,8000 个左右光纤口,可用性 99.94%,工作量肯定不小。每周要起用 10TB 存储,这些存储有 75 个 LUN(也就说平均每个
LUN 135GB 左右,这个数据有些怪异)。连接到 SAN 环境的主机大约有 1000 台,数据库集群有 600
个左右,据我所知,这里的集群应该只是指 Data Guard。
这么多的数据库,I/O 开销肯定不小,如何消除存储热点呢? 该文只是笼统的说通过存储层与主机层的数据分片
达到的。如果应用上 I/O 均衡做的好一些,可能存储热点问题不会成为瓶颈。
这个存储环境的部署应该有好几年了。所以最近一两年比较火爆的存储虚拟化与 Provisioning 技术都没有大规模起用。个人觉得 eBay 这么大的数据量, Provisioning 技术对于 eBay 的环境会是比较适合的。
有的时候,盲人摸象
也是一种乐趣呀。
补充一下,超过 140 套集群。另外,提醒一下,这些数据是随着时间而变化的。切莫刻舟求剑。
--EOF--
Refer
:
Our systems process in excess of 20 billion newly added
records per day, 40TB being added every 24h, serving thousands of users
and delivering hundreds of millions of queries per month in a true
global 24x7 operation with distributed teams around the globe on
systems over 8 PB in size (largest cluster >3PB), processing more
than 30 PB of data per day.
分享到:
相关推荐
关于ebay的存储及架构内容的一些介绍,从最初的版本,到现在到支持上亿用户,上亿次请求的发展过程。
EBAY教程eBAY教程eBAY教程eBAY教程eBAY教程eBAY教程eBAY教程eBAY教程eBAY教程eBAY教程
eBay简化收费结构 基本取消上架费挑战亚马逊 eBay简化收费结构 基本取消上架费挑战亚马逊
请勿用于商业目的,请在下载后24小时内删除,如果喜欢,请购买正版。
1.eBay企业简介 1.1. eBay总体介绍 1.2. eBay核心人物介绍 1.3. eBay的发展历程 1.4. eBay的业务架构 1.5. eBay架构之一:集市(Marketplaces) 1.6. eBay架构之二:支付(Payments) 1.7. eBay架构之三:电商代运营...
ebay架构原则,架构演变历史及ebay的自动化
关于eBay 基础知识的考试 对于eBay卖家有极大的参考作用
ebay账户注册申请ebay账户认证美国ebay账户ebay电商服务
eBay架构
Ebay,克隆源码,测试可以用,php代码写
ebay SDK 747 包含了ebay.service、源代码、还有例子Samples
了解Ebay的架构发展和开发流程。是读者清晰的使用Ebay的架构在实践中。
eBay成功者的秘密 请在下载后24小时内删除,勿用于商业目的,如果喜欢,请购买正版!
EBay运营方案.pdf
这里提供免费下载 ebay 的本地数据库自动同步软件 eBaySync, 就是用 eBay API GetSellerTransactions 做的,但特别的地方是它只提供本地数据库同步功能,而不提供后期的数据操作界面,可以让你把 ebay 上的交易 ...
The big data system for eBay Paid Social Ads_黄毅铭@eBay.pdf
eBay架构分析图1.JPG,eBay架构分析图1.JPG,eBay架构分析图1.JPG,eBay架构分析图1.JPG
eBay的架构.rareBay的架构.rareBay的架构.rar
需要接入ebay支付服务的必备SDK核心工具包
ebay批量上传数据..............................................................