`

对于网站架构中数据库服务器的使用

阅读更多

关于SSD

去年,我们曾经使用了一批SSD的PC,用来做数据库的服务器,用来提高数据库服务器的IO能力。但是从目前的使用情况来看,如果将SSD作为主存储,存在一些问题:

首先,SSD的稳定性还不够好,我们碰到了一些SSD盘损坏和SSD与机器不兼容的情况发生。

第二,SSD的容量盘都比较小,考虑到稳定性的问题,如果做RAID会进一步损失容量,性价比不高。

第三,SSD属于NAND类型的flash,写操作不仅会产生“磨损”,而且随着碎片的不断增加,写操作的性能会不断下降。

目前看来,SSD并不太适合作为数据库的主存储,写操作并不是SSD的特长,而且作为主存储的代价过高,SSD更加适合作为内存和磁盘之间的一层cache,降低读操作的延迟时间,我们将其称为flash cache。Oracle 11g R2中就提供了这样的功能,Oracle exadata V2配置了flash卡用来做flash cache,可以提供非常高的IOPS。对于MySQL数据库,Google和Facebook都提出了基于MySQL数据库的解决方案。

将SSD和Flash卡配置在PC服务器上,与普通SAS或者SATA磁盘混插,采用数据库flash cache技术,可以达到一个非常理想的性能,代价又不是特别高,我们也在考虑采用MySQL的flash cache架构。但是,如果你采用大型的存储设备,比如EMC和HDS,存储的cache实际上已经起到了一个二级缓存的作用,就没有太多必要使用SSD或者Flash卡了。

使用SSD还可以解决写操作的响应延迟,比如Oracle数据库的redo,因为每次commit都必须物理写入到磁盘上,所以将redo放在SSD上,可以提高写的响应延迟,但是不必将数据文件放在SSD上,因为他们并不是必须被写入的。这里要注意的是,SSD可能出现随着大量的写操作性能下降的情况。在我们的测试中,SLC的写能力比较稳定,而MLC的写能力会出现下降的情况。

SSD一定有光明的未来,取代磁盘只是个时间问题,只是我们还需要等待技术更加成熟,价格更加便宜。

关于可扩展的数据库架构

数据库分片(Sharding)是最简单实用的方案之一,将一个集中式的数据库拆分为很多小的数据库,从而获取数据库横向扩展的能力。但是,Sharding也带来一些问题:第一,应用可能需要进行大幅度的修改,以适应数据库拆分的变化。我们通过数据库代理软件来解决应用透明访问的问题,比如Amoeba,让数据库对应用透明,从而降低应用修改的复杂程度。第二,Sharding带来了一些应用上的限制,比如join,复杂查询和事务,要想解决这个问题比较困难,但是我们可以选择在适当的应用场景来使用,比如:在我们实际的应用场景中,绝大部分压力来自于商品,订单,交易等这类应用,其特点是:访问简单,数据量大,查询压力大 。这类应用往往占到系统85%以上的压力,他们是非常适合做数据库拆分的。还有些应用是不适合做拆分的,比如一些查询复杂,事务要求高 的应用,采用集中式数据库是比较合适的。我们通过应用场景的不同,选择不同的方案,既可以降低数据库压力,又可以降低应用的复杂程度。

还有一种常见的解决方案,在数据库前端增加一层cache,比如内存数据库,搜索引擎,KV cache等等,属于读写分离架构的一种,通过cache层有效缓解数据库的读压力,提高整个系统的处理能力。在这种架构中,由cache层承载了大量的数据访问,而数据库则退化为一个单纯的数据存储。在我们的系统架构中,就大量使用了memcache作为数据库的外部cache,淘宝也开发了自己的分布式KV  cache(Tair)。

作为DBA来说,我们也常常使用数据本身的功能去解决问题,比如Partition功能,但是它依然受限于单个database的处理能力,如果我们预期到单一数据库可能产生性能瓶颈时,就需要考虑借助一些应用架构去解决问题,而不是总是局限在数据库本身的功能上。

事实上,解决方案都不是孤立存在的,这几种方案经常混合在一起使用,比如Facebook的架构中,就是利用MySQL数据库和memcache,通过Sharding和读写分离等架构,从而使整个网站具备非常高的性能和扩展能力。我们在实际解决问题时,也是如此,从数据库本身的优化,数据库内做分区,数据库拆分,利用memcache作读写分离,多数据库中心架构等等。


关于Oracle和MySQL

Oracle更适合集中式数据库架构,而MySQL数据库更适合分布式架构,在两种架构并存的环境下,我们用MySQL完全去替换Oracle是不现实的。

从公司战略的角度出发,逐步降低对Oracle的依赖,这是一个大的方向和目标,但并不意味着我们需要把所有的应用都迁移到MySQL数据库上,从纯技术的角度分析,这并不合理。

我对MySQL和Oracle的想法是:分布式架构采用MySQL数据库,保留核心的Oracle数据库,通过数据库拆分等手段,控制Oracle数据库的压力和规模(License)。集中式架构和分布式架构共存,MySQL和Oracle共存,用最适合的技术解决问题。

关于小型机和存储

虽然说近些年来PC服务器的性能得到了很大的提高,甚至已经超过了小型机,但是小型机也不是一无是处,在稳定性,管理性和维护性等方面,小型机都要比PC服务器高出不止一个档次。其缺点就是价格昂贵,容易对硬件厂商产生依赖。

长远来看,我们要控制小型机使用的规模,但并不意味着要替换掉所有的小型机,对于核心应用的Oracle数据库,我认为小型机还是有价值的,起码在可用性方面有保证。对于MySQL数据库,我们大量采用PC服务器,配合数据库拆分和高可用架构,可以充分利用单台PC服务器的处理能力,又保证整个MySQL数据库集群的可用性。

Oracle和MySQL数据库对于机器的选型也有差异,Oracle选择小型机或者比较高端的PC服务器,比如四路Intel 7500系列,最高可以配置四路六核或八核CPU,在性能上已经超过了我们使用的IBM小型机。MySQL则选择处理能力与IO能力均衡的服务器,通常会配置比较多的本地磁盘,比如双路Intel 5500或者5600系列,本地配置12-16块磁盘,甚至配置SSD或者flash卡。

对数据库而言,存储设备非常重要,通常情况下,Oracle数据库会选择中高端的存储设备,而MySQL只配置PC服务器上本地磁盘或者低端的磁盘扩展柜。因为Oracle的高可用策略通常都要基于共享的存储设备实现(比如RAC,Veritas VCS等),所以SAN存储几乎是必须的选择,而MySQL的高可用策略是基于复制的,并不需要共享的存储设备。(当然,Oracle也有data guard的方式,但是DG的切换过程复杂,需要人工干预,作为高可用策略并不适合,更多是作为一种容灾和备份的机制)。

总的来说,硬件的选择与数据库本身的特性和应用架构有密切关系。从对主机的资源利用率上看,Oracle可以充分利用机器的计算能力,而MySQL对SMP架构的支持比Oracle差很多,单台MySQL数据库可能无法完全利用主机的处理能力,所以MySQL主机配置过多的CPU也是一种资源浪费。

关于“去I/O/E”的策略(分别代表IBM,Oracle,EMC),我个人的观点是“合理使用”,而不是为了去而去。不管是数据库的选择还是硬件的选择,我们的目标应该是不依赖于某个厂商,掌握主动权和话语权,这才是最重要的。

关于NoSQL和Database

NoSQL现在非常火,我也写了一些鸡毛蒜皮的文章介绍NoSQL,NoSQL的出现并不是为了替代database,而是在某些特定的领域内解决问题,所以每个NoSQL产品都有其鲜明的特点,相比之下,Database经过这么多年的发展,已经发展成为非常成熟的商业产品,而NoSQL现在大部分还处于成长的阶段。

NoSQL产品的优势在于:扩展性,灵活的数据模型(非关系型),大规模数据处理等方面,Database的优势在于:通用解决方案,成熟度,运维成本,使用成本等方面。我始终认为他们之间不是替代的关系,而是互补的关系,未来在Alibaba的使用场景中,Database应该还是首选的数据库处理和存储方案,但是在大规模的数据处理和数据仓库计算方面,NoSQL应该可以找到大量的应用场景。

现在我们做技术方案时,往往面临很多选择,但是选择太多未必是件好事,我们在选择的过程中往往会加入个人的喜好,比如对某个技术的喜好和掌握程度,甚至为了证明某些能力,而选择一些并不熟悉的技术,虽然它非常先进,但可能并不适用。每种技术都有其存在的合理性,但是引入过多技术必然增加成本和风险,比如facebook,他们利用MySQL和memcache就解决了绝大部分的问题,而很火的cassandra,在facebook只是很小的一个应用而已。相比较而言,我们使用的技术要多得多,我建议在选择NoSQL和Database产品时,选择简单和成熟的技术方案,后期开发和运维成本都是需要考虑的。

关于DBA

DBA不应该仅仅局限于某个数据库产品,而应该更全面的了解开发架构方面的知识,甚至需要具备开发能力,比如针对MySQL数据库进行修改和优化,这也将大大提高DBA解决问题的能力。

DBA的价值不仅仅在于维护数据库本身,而应该在数据存储方案的选择上做出最专业的判断,这是DBA最大的价值所在。

关于技术发展趋势

我在公司五年多了,最初的数据库就是采用PC服务器,然后我们统一把他们整合到小型机上的集中式数据库,把MySQL换成Oracle,而现在我们又要把小型机换成PC服务器,把集中式Oracle数据库拆分成MySQL数据库集群,这不是简单的轮回,而是技术发展的结果。

虽然现在的发展趋势是分布式架构,但是说不定过几年又会出现超级计算机,从而又走向集中式的道路。我们要做的是能够看到3年内技术发展的一个方向,适应技术发展的潮流,并不断调整目标,在解决问题的过程中不断优化。问题和技术都是不断发展的,试图设计一个完美的解决方案是不现实的,在一个问题被解决后,一定会有新的问题冒出来。

选择简单但是不完美的技术解决问题,先做!然后再不断优化。如果不去尝试,我们永远也不知道下一步要做什么,总是停留在对技术方案本身优劣的讨论上,是没有意义的。

人总是在不断反思,不断否定自我的过程中进步的,技术发展也是一样。

–EOF–

本文纯纯粹粹代表我个人对技术一些看法,欢迎拍砖,但谢绝上纲上线,乱扣帽子。

 

 

  • 大小: 38.9 KB
分享到:
评论

相关推荐

    PHP 4.0与架构Web数据库

    PHP(Hypertext Preprocessor)是一种广泛使用的开源脚本语言,尤其适用于Web开发,可以嵌入到HTML中使用。PHP 4.0是PHP的一个重要版本,它在2000年发布,为开发者提供了许多改进和新特性,使得Web数据库应用的开发...

    Informix数据库服务器体系架构.ppt

    Informix数据库服务器体系架构文档,是IBM培训的资料,内容很全很详细,是学习informix的好文档

    精通PHP 4.0与MySQL架构Web数据库(PDG)

    在Web数据库架构方面,书中的内容可能涉及如何设计高效的数据模型,如何优化查询性能,以及如何使用PHP与MySQL进行数据交互。读者将学习如何使用PHP连接和断开MySQL数据库,执行SQL语句,处理结果集,以及如何使用...

    C/S架构的数据库操作

    1. **连接建立**:客户端首先需要与数据库服务器建立连接,这通常通过提供服务器地址、数据库名称、用户名和密码来完成。 2. **数据查询**:客户端可以发送SQL查询语句到服务器,例如SELECT语句用于获取数据,WHERE...

    delphi数据库的三层架构

    Delphi数据库的三层架构是一种设计模式,用于构建分布式应用程序,特别是在数据库应用中。这种架构将应用程序分为三个主要部分:表示层(Presentation Layer)、业务逻辑层(Business Logic Layer)和数据访问层...

    9.2: 网站架构演变 、 LNP+Mariadb数据库分离 、 Web服务器集群 、 总结和答.docx

    2. 独立数据库服务器:独立数据库服务器是将网站静态文件、代码文件等资料与数据库分离的架构。当用户量增加时单机的处理能力有限,PHP 或 JAVA 代码的执行需要消耗大量 CPU 资源,数据库的增删改查需要调用大量的...

    linux 数据库服务器

    - **MySQL概述**:MySQL是一个多用户、多线程的SQL数据库服务器,采用客户机/服务器架构,由服务器守护程序mysqld和各种客户程序组成。它以其速度、稳定性和易于使用而著名。 - **重要特征**:MySQL支持完全多线程...

    套接字数据库服务器

    在IT领域,套接字(Socket)是一种网络通信协议,它是计算机之间进行数据交换的基础工具。套接字数据库服务器则是...理解并掌握套接字技术和数据库服务器的原理及实践,对于从事相关开发和运维工作的人来说至关重要。

    J2EE架构下数据库

    数据库设置方面,则要考虑并发访问量的预估峰值和均值,选择合适的缓存策略,并根据数据库服务器的具体情况调整数据库参数,如分配给SGA和PGA的内存大小比例等。 其次,数据库连接方法的选择对性能优化同样重要。在...

    完整的套接字数据库服务器

    综上所述,这个“完整的套接字数据库服务器”项目涵盖了套接字编程基础、数据库交互技术、服务器架构设计和实现,以及相关的安全与性能优化。对于初学者,这是一个绝佳的实践平台,可以提升网络编程、数据库管理和...

    ASP.NET编写的网站登陆功能(三层架构,数据库SQL2005)

    在本项目中,“ASP.NET编写的网站登陆功能(三层架构,数据库SQL2005)”是一个采用三层架构设计的登录模块,它利用了ASP.NET的技术特性以及SQL Server 2005作为数据库管理系统。 **三层架构** 三层架构是一种软件设计...

    基于C_S架构的SQL数据库技术研究.pdf

    在构建基于C/S架构的SQL数据库时,首先需要在服务器端搭建数据库服务器,这通常涉及到数据库的选择、数据库文件的存储管理以及身份验证机制的设置。服务器端的主要任务是响应客户端的请求,执行数据查询、更新、删除...

    SQL Server 2005 数据库服务器架构设计

    SQL Server 2005是微软公司推出的一款强大的关系型数据库管理系统,其在数据库服务器架构设计上具有多项重要特征和关键技术。在这个系统中,数据库服务器不仅负责存储数据,还负责处理来自应用程序的查询请求,确保...

    SQL.Server.2005.70-443.数据库服务器架构设计

    了解和掌握这些SQL Server 2005的数据库服务器架构设计知识点,不仅可以帮助备考70-443考试,还能为实际工作中的数据库设计和管理提供坚实的理论基础。通过深入学习和实践,可以提升数据库系统的稳定性和效率,满足...

    SQL 数据库架构比较工具

    例如,在进行数据库升级时,可以先使用此工具对比新旧版本的架构,找出需要修改的部分,避免手动检查带来的繁琐和错误。在团队协作中,开发人员可以利用它来确保每个人的数据库结构与主版本保持一致。此外,对于...

    易语言数据库服务器源码

    在编程领域,数据库服务器是系统架构中的核心部分,它负责存储、管理和处理数据。易语言,一种简洁而强大的中文编程语言,为开发者提供了构建数据库服务器的能力。本文将围绕“易语言数据库服务器源码”进行深入探讨...

    SQL Server 2005数据库服务器架构设计

    本书是微软认证IT专家(MCITP)70-443认证考试的专用教材,全书共14章,全面介绍了如何设计和管理安全的数据库架构,如何设计和管理高可用性解决方案,如何优化和实施数据库的数据恢复计划,如何设计、部署和巩固...

    如何将数据库从A服务器移动到B服务器_sqlServer

    至此,使用“分离+附加”的方法,我们已经成功地将数据库“IvanDemoDB”从服务器A移动到了服务器B上。 ### 方案二:备份 + 还原 这种方式更加灵活,不仅支持在同一版本SQL Server之间的迁移,还能跨版本迁移,甚至...

    Oracle数据库云服务器

    - **完美整合与即付即用**:Exadata是一体化的解决方案,集成了数据库服务器、存储服务器、网络设备等,预配置且经过严格测试,用户只需简单操作即可使用。 - **按需服务的数据库云**:支持多数据库整合及混合负载,...

Global site tag (gtag.js) - Google Analytics