采访分布式数据访问层(Data Access Layer)作者许超前

2009-09-15 编辑 ouspec 评论(62条) 有108899人浏览

DAL Data Access Layer MySQL Proxy Memcached 数据访问

声明：ITeye精华文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

分布式(Distributed)数据访问层(Data Access Layer)(以下简称DAL)是综合MySQL Proxy、Memcached、集群等等技术优点而构建的一个软件系统。目的是为了解决在构建大中型网站时遇到的和数据访问有关的诸多问题，如怎么使得切库分表透明化，如何使得缓存存取清除自动化，怎样才能更好地防止服务单点故障等等。DAL是手机之家团队近几年在开发和运营上的经验的总结以及智慧的结晶。

许超前是手机之家一位资深的开发者和架构师, JavaEye非常荣幸的采访了他。

许超前博客：http://www.longker.org/

欢迎大家推荐更多开源项目和业界专家给我们，支持中国的IT发展，发站内短信给JavaEye管理员或者发信到webmaster@iteye.com，谢谢。

采访分布式数据访问层(Data Access Layer)作者许超前（十四）

JavaEye：1.Hi，许超前，你好，非常荣幸能够采访你，首先你能够向大家介绍一下分布式(Distributed)数据访问层(Data Access Layer)吗？

许超前：简单说来，分布式数据访问层(以下简称DAL)是综合MySQL Proxy、Memcached、集群等等技术优点而构建的一个软件系统。目的是为了解决在构建大中型网站时遇到的和数据访问有关的诸多问题，如怎么使得切库分表透明化，如何使得缓存存取清除自动化，怎样才能更好地防止服务单点故障等等。后面，我会在我的博客上以及今年的SD2China大会上做进一步的说明，有兴趣的可以留意。

JavaEye：2.分布式(Distributed)数据访问层(Data Access Layer)是什么时候诞生的，能否介绍一下发展历程？

许超前：DAL的产生是经历一番波折的。

2007 年，手机之家的用户已经接近1000万、PV也到了500万以上，正处于中小型网站向大型网站的过渡时期。那时候，我们明显感觉到我们在技术上已经遇上了瓶颈：一个是系统负载过高，经常要担心我们的数据库是不是又挂了，进而造成整个系统的瘫痪；第二个是5年积累下来的代码也已经非常难以维护，因为分层模糊，结果到处充满着数据库访问逻辑、到处充满着缓存读写逻辑，再加上表的设计不合理，造成无法简单地进行水平伸缩。总之，我们的系统已经到了不得不进行改造的地步了。

后来，老高(手机之家创始人高春辉)组了一个研发团队，旨在从根本上解决上述提到的问题。在此后一年的时间里，我们走了很多弯路，经历了很多痛苦，不过，也正是在这段时间里，产生了DAL的雏形，经过若干次改进，变成了后来的DAL1.0。DAL的产生完全是形势使然。。。到了那个时间、在那个地点、做了那件事。

DAL1.0上线后数据库的QPS明显下降，从几千降到几百。事实证明，我们找到了一条行得通的路子。所以才有DAL的后续版本的开发，才有今天的DAL2.x版本的产生。

JavaEye：3.能介绍一下手机之家网站和技术团队吗？

许超前：手机之家是一个旨在提供全方位的手机相关服务的资讯类网站。在7年的时间里，手机之家从无到有，已经发展成为极具人气、最受关注的手机产品资讯网站。有点广告的味道，不过说的都是事实，呵呵。

以下是今年3月份在Beta技术沙龙上提到的统计数据：
a. 1000w+用户
b. 3000w+帖子
c. 1.1TB+附件
d. 780w+ Page View/每天
e. 5~10w在线用户/15分

现在，用户应该是1200万了吧，其它的也有所变动。最近比较忙，没再去关注。

手机之家现在有个技术部，负责网站的日常维护事宜；我们还有个项目组，负责整个系统的架构设计及新技术的研究和探索等等。

JavaEye：4.分布式(Distributed)数据访问层(Data Access Layer)的主要特点是什么？能否简要分析一下它实现的主要技术核心？

许超前：要说特点，摘抄一下我在博客里写的关于新版DAL的项目目标，这些目标在DAL2.x里已经得到了相对较好的实现，我想这应该就是它最大的特点了吧：

一）可伸缩。
这里是指Scale Out.，即水平可伸缩。事实上，这点更应该是整个系统要考虑的目标了，而非DAL，DAL要考虑的是怎么更好地支持。举例说，我们可以一个库一个服务，甚至可以是一个表一个服务；库、表拆分后，DAL应能路由查询、合并结果，而不是让应用程序去操心这些事。

二）高可用性。
1) 我们认为出错失败是很正常的，一台机器倒下了，其它机器应继续保持系统正常运作。容错是很重要的一个要求。
2) 系统规模大了以后，很容易出现“异构“的情况，如原有模块MySQL表引擎是MyISAM的，是不支持事务的，而新上的模块又采用了InnoDB表引擎，在这种情况下，DAL应能对原有模块进行优雅降级。
3)失败恢复也是要考虑的，失败后，需要把失败前驻留在内存中的消息找回来。
4) 另外，DAL本身也在快速的迭代当中，升级是很经常的事，应能进行在线热升级(不重启原有服务)。

三）良好的性能。
对于根据Id来取记录的查询，在缓存命中的情况下，应该达到和Memcached不相上下的读取速度。在缓存不命中的情况下，则应该充分利用分库分表和并行计算的优势，最大化地提高查询的效率。对于修改型查询，挂在上面的监听器，不应该影响性能。

四）系统可监控。
资源占用情况，命中率如何，系统当前压力怎样等等，都应该是可知的。应该有报警机制，当压力到达一个阀值以后，通知相关人员进行处理。还应该有详细的错误日志，便于排查问题。

五）安全。
没有SQL注入问题；避免或尽量减少分表和索引表之间的数据不一致问题等等。

六）易于编程。
需要设计一套简单好用的API，便于应用程序的开发。API必须是自完备的，应用开发者不需要太费力就能记住的。
应用开发人员不再关心分库分表问题，不再关心缓存问题，特别是缓存清除问题。甚至不再关心后端的数据库是MySQL，还是Oracle，或者是其它。

七）可定制、可扩展、可维护的架构设计。
像连接池组件、缓存组件、查询分析组件、消息队列组件、通讯协议等等不应该写死，应设计成可方便定制的。还应该提供足够的钩子用于扩展。只有这样，DAL 的架构才是灵活的、拥抱变化的。简单说，我们定的是机制，提供的是策略；机制是软件目标和宗旨的体现，一般是不能轻易改变的，而策略则应当是能比较简单地进行切换的。

这里面，每一点都可以说说，还是在以后的博客里，再来详细和大家讨论吧。

JavaEye：5.分布式(Distributed)数据访问层(Data Access Layer)应用的主要场景是什么？能否详细比较一下分布式(Distributed)数据访问层(Data Access Layer)和类似产品比如hibernate的区别吗？

许超前：DAL比较适用于大中型网站，对于想提高系统负载能力及响应速度的小型网站也是适用的，但可能获得的好处不如大中型网站那么明显。

DAL和Hibernate两者不具有可比性，从出发点来看就不同，DAL一开始是为了提高网站的负载能力，而Hibernate则是为了能更快地开发Java应用。手机之家采用混合编程，上层应用不一定是用Java写的，要让(非Java)程序员对每个模块涉及到的表结构都用Java实体类写一遍，不太现实。相反，我们采取了不同的思考方式，我们的程序员面向的是表和记录，而不是实体类和实体对象。虽然，DAL也有Mapping的概念，但是它的Mapping是指逻辑表到物理表的Mapping，而不是Java对象到数据库模式的Mapping。DAL的逻辑表可能对应着多个物理表，程序员看到的是逻辑表，不用关心后面有多少个物理表。

MySQL Proxy也提供了一些类似的特性，DAL与它的第一个不同在于，我们的缓存处理是内置的，我们从设计之初就特别认真地考虑缓存这块，而MySQL Proxy得自己写Lua脚本。第二个不同在于，我们针对的不仅仅是MySQL这一种数据库。而且，我们还有很多其它的事情要做。

另外，国内还有一个开源项目叫Amoeba。Amoeba关注的领域是切分，在这个领域，Amoeba对概念的抽象还是不错的。DAL更像是一个完整的系统，当然，也可以只用DAL来做切分，其它的逻辑自己编写，想拥有哪些特性都是可配置的。这样设计一个是为了易用，一拿来就能用，另一个是为了能更好的和现有的解决方案(如Hibernate)集成，虽然DAL在很多方面都可以取代它们(如Hibernate)。

最后，我相信，肯定还存在很多类似的解决方案，只是我们不曾得知。或许是过于定制化了，或许是还不够成熟。。。

JavaEye：6.目前大概有多少用户在使用分布式(Distributed)数据访问层(Data Access Layer)？

许超前：目前DAL主要用在手机之家网站上面，当然，还有其它的项目也在用。

JavaEye：7.目前分布式(Distributed)数据访问层(Data Access Layer) 开发的技术难点是哪里？

许超前：要说技术难点，我觉得有以下几点：

一）如何降低CPU负载及减少内存占用。

二）如何提高查询条件的分析速度。

三）如何更有效地路由到相应的库和表上。

四）如何提高缓存的命中率。

五）如何更有效的进行数据复制。

JavaEye：8.你每周大概花多少时间在分布式(Distributed)数据访问层(Data Access Layer)项目上面？

许超前：每周大概80个小时左右。

JavaEye：9.开发分布式(Distributed)数据访问层(Data Access Layer)带给你最大的收获是什么？

许超前：一）贵在坚持。一个长开发周期的软件，到了后面，不仅是对开发人员体力、智力的综合考验，更是对开发人员心理承受能力的考验，因为这时会有来自各方的及自发的压力。如果能坚持下去，扛过这一关，事情往往就成了一半。

二）找一些和你有共同目标的人一块共事。否则会耗费大量的沟通成本。

三）用数据说话。事务都在变化当中，几年前的经验，也许到今天就不灵了。而且很多事情并不是像我们想象得那样去发展。

四）中国不打折。

JavaEye：10.开发分布式(Distributed)数据访问层(Data Access Layer)的roadmap是什么？近期远期的开发计划计划是什么？

许超前：接下来的版本要做的事有这几个方面：

一）更多的协议开发，这样才能作为透明代理使用，比如我们的PMA也可以使用了。

二）数据库厂商中立的数据复制。

三）嵌入式API，考虑和Spring、Guice等集成，方便Java应用开发人员的使用。

JavaEye：11.你的开发环境是什么？使用什么操作系统，和IDE？

许超前：一直用Linux操作系统，现在是Ubuntu，IDE用Eclipse。

JavaEye：12.开发分布式(Distributed)数据访问层(Data Access Layer)项目是如何推广的？未来有什么推广方面的计划吗？

许超前：DAL目前只在内部项目中使用。等足够成熟了，我们会采取一系列办法进行推广的。

JavaEye：13.通过开发开发分布式(Distributed)数据访问层(Data Access Layer)项目，你对中国的开源软件现状有什么看法？对国内软件开发人员做开源项目有什么感受和想法吗？

许超前：我们的IT行业起步晚，开源文化还不够深入人心，再加上我们中的大部份人还在为生计发愁，所以对开源事业上心的人还是少数。因此，和欧美发达国家比起来，我们的开源事业相对滞后。
我由衷地敬佩那些做开源项目的开发人员，如果可能，我也希望多做些开源软件和大家一块分享。

JavaEye：14.作为一个JavaEye的会员，你对JavaEye网站有什么建议和意见吗？

许超前：想办法让老人多发言，同时也给新人提供一个学习成长的地方。比如可以弄个师徒频道(有点SNS的味道)，老人可以招学徒，新人可以拜师傅。

许超前介绍

许超前，男，毕业于华中师范大学计算机科学与技术系，现居住在北京。98年开始喜欢上计算机，曾有过存储、搜索、Java NIO框架、Java Cache系统、消息队列等等的研发经验。一毕业就任职于手机之家(中国手机用户最受推崇的品牌)，前后已经4年了，目前担任架构师一职，负责分布式数据访问层(Data Access Layer, 简称DAL)软件的架构、设计和开发工作。

除了技术方面，爬山是最大的爱好，喜欢摄影，偶尔打打太极柔力球。

许超前博客：http://www.longker.org/

由于许超前太低调，只提供了一张背影给我们遐想

：

分享到：

评论共 62 条

62 楼 zhqyhp 2012-10-15 09:24

61 楼 ye_guanwen 2011-11-29 15:42

JavaEye：8.你每周大概花多少时间在分布式(Distributed)数据访问层(Data Access Layer)项目上面？

许超前：每周大概80个小时左右。 !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

60 楼 java学习网 2011-04-12 23:41

不错，值得学习

59 楼 xulinzhou 2010-12-03 17:11

58 楼 snowolf 2010-11-25 16:17

嗯，很多内容比较赞同，最近一直想搞搞分布式缓存，这是分布式架构中必要的一环。
感谢楼主的分享，很希望跟你这样的人一起共事！

57 楼锅巴49 2010-11-18 13:49

如何下载,看源码

56 楼 fxsjy 2010-09-13 20:00

楼主已经跳槽去百度了啊：http://www.longker.org/?p=416

55 楼 fxsjy 2010-08-10 14:04

楼主已经离职了？http://www.douban.com/group/topic/13280455/

54 楼 eltonto 2010-07-09 16:19

最大可以处理多少数据？

53 楼 zha_zi 2010-07-09 11:14

垃圾一个连个正面都不敢给

52 楼 caoyangx 2010-06-29 10:08

kingrom 写道

23楼的，我说的是否是真的，你自己看看项目的说法，http://www.longker.org/
我就是觉得他们的思路是有问题，解决什么问题，
一）如何降低CPU负载及减少内存占用。

二）如何提高查询条件的分析速度。

三）如何更有效地路由到相应的库和表上。

四）如何提高缓存的命中率。

五）如何更有效的进行数据复制。
这五个是难点吗？

我看了从头看到尾巴，就没有看出什么新思路出来，，，还分布式数据访问层。。。看不出来。轮子。。知道不。。。

鸦雀焉知鲲鹏之志
你的闲聊我看见了如下：
我的闲聊 0 关注 | 1 被关注
javaeye的精彩访谈中的许超前很牛b吗?搞个dao层都搞不定，还每周80小时，纯粹一傻冒
2009-09-20 通过网页
你以为他搞的是增删改查的DAO吗？你以为他在做一个能够分页的SQL生成器吗？一看你就是一个graduate，刚做了几个helloword的就不知天高地厚的little boy。
人家分表的最重要条件你懂吗，怎么提高缓存命中率弄you知道吗？他为什么用一个逻辑表mapping几个物理表侬晓得吗？

51 楼 leon_qiu 2010-05-14 19:02

尝试如何对\' \\ \\\转译

50 楼 leiray123456789 2010-05-10 10:46

在哪能够下载？

49 楼 kingrom 2010-04-10 02:19

你们的项目过时了...半年还搞不出个p来....不要相信他会给源码...这个是手机之家的版权,,,,不会开源的 .....

48 楼 yuyee 2010-03-16 14:02

Let me see see!

等了快半年了

47 楼 yuyee 2010-01-13 19:20

哥们，源码，Let me see

46 楼 litdong 2009-12-30 11:02

kingrom 写道

3月初开始,80个小时，多人做。我只能认为你的架构师不称职，考虑的不周详，
就象个傻子，要自己写个框架出来，不借用其他的框架。这个架构是不可取的。
你看看现在的企业项目或者老外的项目，尽可能的简单化。4年的工作经验就象一张白纸，
你认为你称职吗？怎么样，就鄙视你。

这是何苦,做出东西还没有炫耀,这样低调很难得了.

45 楼 litdong 2009-12-30 10:59

是不是搞了很多的metadata.

44 楼 lianxianghui 2009-12-11 11:21

引用

JavaEye：8.你每周大概花多少时间在分布式(Distributed)数据访问层(Data Access Layer)项目上面？

许超前：每周大概80个小时左右。

,对我来说太可怕了。看来身体好真的很重要。

43 楼 xzh_endless 2009-12-06 20:35

kingrom 写道

我认为他称职。自己手写是可取的。重用，不只是代码重用才叫重用，思想重用也叫重用。
如果是自己人写的代码，修改起来会没有障碍。关键的地方就必须自己写，不然就失去了特性特征。

42 楼 windywany 2009-12-02 09:12

如果项目只使用单一数据库如MYSQL或ORACLE,我真的怀疑有必要使用这套东西吗,因为它们都有自己的集群与负载方案.唯一要解决也就是缓存,缓存这个东西,我想还是好解决的.

41 楼 55925384 2009-12-01 21:02

水平很一般

40 楼 JavaLanguageFun 2009-11-29 14:34

现在看还有点糊涂，留着以后看、

39 楼 JavaLanguageFun 2009-11-29 12:48

现在还有点模糊，但是我先收着~

38 楼 wq163 2009-11-15 12:09

Qring 写道

我们应该抱着学习研究的态度看待问题，而不是泛泛而谈这个简单那个容易，再简单的问题也有他复杂的一面。就是因为我们老是眼高手低，所以才让自己，让整个技术界都平平凡凡，而自己却感觉天下无敌。

这个要顶，很多事情只是想想容易而已，自己做起来就眼高手低了

37 楼 battyht 2009-11-02 09:25

你说塞班什么的还好，这个你要说有千万级别的pv，那是不可能的

36 楼 holan 2009-10-30 20:43

开源了吗？我们能用吗

35 楼 flashjay 2009-10-25 23:39

不过他这种分享技术的心态，非常敬佩；）

34 楼 flashjay 2009-10-25 23:37

这那什么手机网站哪有那么大用户量，从哪爬的数据吧大哥，假；（
证据嘛，嘿嘿ie，经常上论坛的人上去看看或许就知道啦。。。。

33 楼 wushunlian 2009-10-18 19:42

要源码的可以看看这个amoeba-mysql开源，也是国人的

发表评论

您还没有登录,请您登录后再发表评论

采访分布式数据访问层(Data Access Layer)作者许超前

声明：ITeye精华文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

目 录 [ - ]

采访分布式数据访问层(Data Access Layer)作者许超前（十四）

许超前 介绍

62 楼 zhqyhp 2012-10-15 09:24

61 楼 ye_guanwen 2011-11-29 15:42

60 楼 java学习网 2011-04-12 23:41

59 楼 xulinzhou 2010-12-03 17:11

58 楼 snowolf 2010-11-25 16:17

57 楼 锅巴49 2010-11-18 13:49

56 楼 fxsjy 2010-09-13 20:00

55 楼 fxsjy 2010-08-10 14:04

54 楼 eltonto 2010-07-09 16:19

53 楼 zha_zi 2010-07-09 11:14

52 楼 caoyangx 2010-06-29 10:08

51 楼 leon_qiu 2010-05-14 19:02

50 楼 leiray123456789 2010-05-10 10:46

49 楼 kingrom 2010-04-10 02:19

48 楼 yuyee 2010-03-16 14:02

47 楼 yuyee 2010-01-13 19:20

46 楼 litdong 2009-12-30 11:02

45 楼 litdong 2009-12-30 10:59

44 楼 lianxianghui 2009-12-11 11:21

43 楼 xzh_endless 2009-12-06 20:35

42 楼 windywany 2009-12-02 09:12

41 楼 55925384 2009-12-01 21:02

40 楼 JavaLanguageFun 2009-11-29 14:34

39 楼 JavaLanguageFun 2009-11-29 12:48

38 楼 wq163 2009-11-15 12:09

37 楼 battyht 2009-11-02 09:25

36 楼 holan 2009-10-30 20:43

35 楼 flashjay 2009-10-25 23:39

34 楼 flashjay 2009-10-25 23:37

33 楼 wushunlian 2009-10-18 19:42

发表评论

相关推荐

目录 [ - ]

许超前介绍

57 楼锅巴49 2010-11-18 13:49