- 浏览: 112011 次
- 性别:
- 来自: 北京
-
文章分类
最新评论
实际上,作为一个建立于Bigtable之上的分布式存储系统,Megastore已经被谷歌使用了数年。Google在2008年的SIGMOD大会上就已经开始讨论它了,但相关技术信息直到最近才被公布,在上个月举行的创新数据系统研讨会上(CIDR),Google公开了其Megastore分布式存储技术的白皮书。
论文地址下载:http://www.cidrdb.org/cidr2011/Papers/CIDR11_Paper32.pdf
在该白皮书上,Google对于Megastore的功能描述是——高扩展性并具有高密度交互的可用存储服务,其在Google的基础系统之中,其主要用来解决Appengine的数据存储问题。
Megastore融合NoSQL和SQL
提到Google的Bigtable,必然会提到NoSQL,对于广大的NoSQL研发人员而言,当前最核心问题正纠结于如何将NoSQL与传统的关系型数据库融合,而Megastore就是专门用来解决这一问题的。
Megastore用一种新颖的方式把NoSQL数据存储的可扩展性和传统的关系型数据库融合在一起,并为一致性和高可用性提供了强有力的保证。Google在该论文中指出。目前提供的数据完全按照ACID语义序列进行高密度的排序。
Google重点谈到了现今的Web应用,白皮书中指出,所有的Web应用都面临以下技术瓶颈:可扩展性、快速的争取并发展用户、延迟反应、用户数据(云环境下要保证任何时候都可用)。
“但实际上,这些需求是冲突的”,白皮书指出。“关系数据库提供了一组丰富且方便构建应用程序的功能,但是它们很难扩展到数以亿计的用户。非关系数据库则有高度的可扩展性。例如谷歌的Bigtable,Apache Hadoop的HBase,或者Facebook的cassandra。但其API有限且松散一致性模型不利于开发应用。在远程数据中心之间传送数据,同时保证低延迟是具有挑战性的。要注意保证所复制数据的一致性,尤其是传送过程中的错误。”
关系型数据库在Google没有未来
传统的关系数据库管理系统已经被Google所否定,比如MySQL。在该文件中指出,“昂贵的商业数据库系统,如Oracle数据库,会大幅加大用户在云中大幅部署的总成本”。
Megastore的设计原理在于,能够在广域网中同步复制文件写操作、可接受的延时、支持跨数据中心的故障迁移。在两个可扩展的非关系数据库的中间地带,比一个传统的关系数据库更为方便。
Google在该论文中还透露,目前Google有100多个生产应用Megastore作为存储服务,而这些应用的可靠度在99.99%到100%之间。根据数据中心的距离和写入数据的大小,应用程序的平均读取延迟在万分之一毫秒之内,平均写入延迟在100至400毫秒之间。
NoSQL专家——ACID令人印象深刻
曾经关注了Megastore多年,并不停更新关于Megastore的技术信息的Amazon的技术大牛——James Hamilton日前在其博客中公开表示,很钦佩该技术,他在博客中写道:“Megastore一贯支持阅读和完整更新ACID语义使人印象深刻,即便不能够更新比’每秒数’限制更多的实体组限制。”
CSDN观察:实际上,Megastore已经是Google过时的存储技术,但聊胜于无,Google选择在此时将此论文公开,对于NoSQL的整体技术进步无疑还是有好处的。
Google目前正在使用的存储系统是Spanner架构,在Google的技术规划中,Spanner能够控制一百万到一千万台服务器,包括10万亿(1013)目录和一千万亿(1018)字节的存储空间。而这所有一切分散在世界各地的数据中心,而Spanner的最强大之处在于能够为50微妙之内的数据传递提供通道——即便这两个数据中心分布于地球的两端。
原文链接:http://www.informationweek.com/news/internet/google/showArticle.jhtml?articleID=229205494&cid=RSSfeed_IWK_All
发表评论
-
开源数据库Sharding技术
2011-03-02 16:14 690内容摘要:Sharding 不是一个某个特定数据库软件附 ... -
Java 开发 2.0: 使用 Hibernate Shards 进行切分
2011-03-02 16:26 616当关系数据库试图在 ... -
可扩展的分布式数据库架构
2011-03-03 14:44 661本文发表在《程序员 ... -
OLTP系统与DSS系统对比
2011-03-03 15:35 616在进行数据库系统的设计时,一个不可忽视的问题是弄清你所 ... -
Oracle高级复制机制
2011-03-10 15:48 638Oracle高级复制即可支 ... -
Oracle高级复制的同步复制的配置步骤说明
2011-03-10 15:50 812以下的文章主要讲述的是Oracle高级复制的同步复制,如 ... -
linux oracle中文乱码问题解决方法
2011-04-11 15:18 675connect system/oracle9i ... -
ubuntu下安装ocfs2
2011-07-12 14:20 944简介 一个集群文件系统能使运行在集群中所有节点并发的通过 ... -
asm下载地址
2011-07-12 16:50 803asm rpm包下载地址http://www.oracle.c ... -
oracle重要初始参数
2011-09-28 17:15 848OPEN_CURSORS session可以打开的游标最大数, ... -
SQLJ是什么?优点?
2011-10-11 09:56 887SQLJ是一种允许把静态的SQL语句以文本形式嵌入Java程序 ... -
共享池的调整与优化(Shared pool Tuning)
2011-10-11 10:53 712共享池(Shared pool)是SGA中最关键的内存片段,共 ... -
使用DBMS_SHARED_POOL包将PL/SQL大对象保存到Shared Pool
2011-10-11 16:32 704当系统在加载PL/SQL大对象时,有可能遭遇由于SharedP ... -
oracle sga相关
2011-10-12 17:08 816oracle主要影响性能的内存: Shared ... -
oracle内存调整相关
2011-10-14 15:52 867db_cache_size与sga_target关系 db_ ... -
oracle索引分类
2011-10-17 13:31 820B-TREE INDEX,B树索引:在创建索引时他是 ... -
修改oracle redo log的大小
2011-10-17 15:53 10581.查看现在的REDO GRO ... -
本地管理表空间
2011-10-18 13:29 735本地管理表空间的好处: 1:快速,并发空间操作 ... -
Oracle表空间命令
2011-10-19 16:55 773创建立表空间 CREATE TABLESPACE ... -
Oracle 索引组织表(IOT)
2011-10-28 09:16 761索引组织表(IOT)有一种类B树的存储组织方法。普通的堆组织表 ...
相关推荐
google megastore ,在google bigtable上的最新技术报告;希望对大家有用
Google Megastore分布式存储技术全揭秘
Altera IP MegaStore,Altera内核扩展库,用Quartus II 7.2 版本
MEGASTORE V1.0 商城门户多品类外贸独立站商城模板
Google F1 Tenzing Spanner Megastore MapReduce Fusion Tables Maestro Dremel Bigtable DRAM Errors Distributed Storage Systems
Megastore: Providing Scalable, Highly Available Storage for Interactive Services Jason Baker, Chris Bond, James C. Corbett, JJ Furman, Andrey Khorlin, James Larson, Jean-Michel L ´eon, Yawei Li, ...
3.6.1 SQL和NoSQL数据库的对比 113 3.6.2 RDS数据库原理 114 3.6.3 RDS的使用 115 3.7 内容推送服务CloudFront 115 3.7.1 内容推送网络CDN 115 3.7.2 云内容推送CloudFront 117 3.8 其他Amazon云计算服务 119 3.8.1 ...
Google内部的MegaStore系统是Bigtable的补充,它在Bigtable的上层支持SQL,事务,索引,跨集群复制,并成为了著名的应用程序存储引擎,例如Gmail,APPEngine和Android Market。 因此,我们决定通过理论模型...
Megastore是谷歌一个内部的存储系统,它的底层数据存储依赖Bigtable,也就是基于NoSql实现的,但是和传统的NoSql不同的是,它实现了类似RDBMS的数据模型(便捷性),同时提供数据的强一致性解决方案(同一个datacenter...
Spanner是Google最近公开的新一代分布式数据库,它既具有NoSQL系统的可扩展性,也具有关系数据库的功能。例如,它支持类似SQL的查询语言、支持表连接、支持事务(包括分布式事务)。Spanner可以将一份数据复制到全球...
超级商店 具有数据库交互的 Android 应用程序
Megastore是Google设计和构建的用于互联网中交互式分布存储系统,将关系型数据库和NoSQL(泛指非关系型数据库)的特点优势融合。Dapper是实现大规模分布式系统的监控基础架构。Dremel是海量数据的交互式分析工具。...
GOOGLE云计算存储介绍,Megastore分布式存储技术,可以了解下。
【技术分析】 ... CSS,可以帮助把网页外观做得更加美观; JavaScript,是一种轻量级的解释型编程语言; ... Bootstrap 是快速开发 Web 应用程序的前端工具包。...AJAX,创建交互式网页应用的网页开发技术。...
《云计算(第二版)》主要内容包括:Google的GFS、MapReduce、Bigtable、Chubby、Megastore、Dapper和App Engine等;Amazon的Dynamo、EC2、S3、SQS、SimpleDB和CloudFront等;微软的Windows Azure、SQL Azure、App ...
本书主要内容包括:Google的GFS、MapReduce、Bigtable、Chubby、Megastore、Dapper和AppEngine等;Amazon的Dynamo、EC2、S3、SQS、SimpleDB和CloudFront等;微软的WindowsAzure、SQL Azure、AppFabric等;VMware的...
google云计算服务包括:google文件系统GFS,分布式计算编程模形MapReduce,分布式锁服务Chubby,分布式结构化数据表Bigtable,分布式存储系统Megastore以及分布式监控系统Dapper等。GFS提供了海量数据的存储和访问...
Google 的Megastore 云存储系统和BigTable 是什么关系? • 亚马逊公司的时namo 系统是什么? 3. 从事搜索引擎优化的网络营销人员及中小网站站长 • 搜索引擎的反作弊策略是怎样的?如何进行优化避免被认为是作弊? ...