阅读更多

33顶
0踩

行业应用

转载新闻 谈谈阿里系的技术积累

2013-01-06 11:19 by 副主编 WnouM 评论(10) 有10151人浏览
本文作者为丁香园(DXY.com) 技术负责人冯大辉(Fenng)。原文内容如下:

喧嚣的双 11 促销活动已经结束,淘宝、天猫、支付宝等阿里旗下的网站在当天爆发出惊人的能量,让人瞠目结舌:全天总交易额达到 191 亿,其中天猫132 亿,淘宝 59 亿,支付宝日订单数量超过一亿笔。金额已经超过美国去年“网购星期一”最高纪录,当然也超过今年的黑色星期五的 10.42 亿美元。尽管大淘宝在促销开始的时候服务稍有不稳定,但整天下来服务堪称可靠。这是个值得称赞的成就。 从另一个角度看数据,峰值数据是每分钟 89678 笔交易,峰值时刻一分钟超过 1700 万人民币的交易额,对比之下,eBay 披露的数据是每秒钟 2500 美元(峰值或许会更高一些)。但经此一战,可以说,阿里系在电商领域上的技术积累的确是全球独步了。

阿里系能达到今日的技术积累,绝非一朝一夕之功,依笔者个人的看法,以下几个先决条件素不能不提:

第一,支付宝、淘宝团队在大规模分布式事务(Transaction)处理能力上多年来的技术积累,这份经验相当宝贵;

第二,在 2009 年,阿里巴巴骨干传输网 ABTN (Alibaba Backbone Transmission Network) 的建成为整个阿里系子公司的网络服务能力提供了网络基础保障,这也是国内第一家运营商级别的电子商务骨干网;

第三,以开源领域技术专家,LVS 项目创建人章文嵩先生加盟淘宝为标志,淘宝在底层基础设施上的技术能力大幅提升,章带领的基础核心软件研发团队基于 LVS 实现高性能负载均衡组件,构建了强大而且高效的 CDN 系统,CDN 系统大量采用低功耗服务器,绿色节能;

第四,硬件带来的红利。固态硬盘(SSD)与 PCI-E Flash 等硬件组件技术已经足够成熟并被大规模应用,为数据库服务器处理能力提供了硬件层面上的支撑能力,可以更加灵活部署,成本更低,不必再像过去那样单纯依赖于小型机与高端存储的支撑;

第五,在 2008 与 2009 年大刀阔斧的系统结构改进,比如外界所知道支付宝的 SOA 化,淘宝五彩石项目等,最近两三年仍然在做精细化的提升,但是总结架构没有太大的变动;

第六,淘宝技术团队对运维能力的掌控与技术积累(为防止阿里云掠美,必须要说一下此事与阿里云无关,各自是独立的团队),具备相当灵活的分配调度硬件以及网络资源的能力。或许有人会指摘限流的问题,要知道,对系统限流的能力也是技术实力的体现,以前的几次大促活动中某银行网管因为对流量控制措施不当,直接导致核心设施不可用,造成了非常大的负面影响。

在 2010 年与 2011 年的两次双 11 促销活动中,技术团队积累了足够的运维与运营经验,能够有针对性的进行全面准备,而且,通过过去几次“压力测试”,也促使国内银行系统对于网银网关处理能力进行了扩容与改造,否则,按照今天的交易量,各家银行网关也无法承载如此大的支付请求的冲击。

阿里技术团队这几年来,在开源软件研发上进行了很大的技术投入,比如在 MySQL 数据库研发与部署实践上,已经能够有实力解除对 Oracle 数据库的依赖,而本次活动中,最核心的MySQL集群一天共支持了 20 亿个事务,MySQL 核心数据库顶住了每秒钟 10 万次事务、百万次 SQL 执行(不过支付宝最核心的数据库依旧是在 Oracle 数据库上,淘宝天猫的核心库已经在 MySQL 上)的压力;在 Java 核心技术上的技术投入,针对业务特点优化定制的 JVM(TaobaoJVM)已经在淘宝、天猫等网站上线,全部替换了 Oracle(Sun)官方 JVM 版本,成果显著,并已经逐步反馈到开源社区中去;再比如淘宝在 Nginx 基础上改进的 Web 服务器 Tengine……

此外,淘宝根据电子商务业务自行研发的各种关键组件,比如流控与防攻击模块等,也对这次成功大促起到了很好的保障作用。技术团队在开源软件领域的投入取得了惊人的回报,现在来看,此乃相当有前瞻性的举措,值得肯定。阿里技术团队正在试图掌控整个网站体系中的所有组件的核心技术,这将是一个趋势。

最后,技术的背后,最关键的还是人和团队。阿里巴巴数年来在电子商务技术领域吸引了不少业界技术专家,如王文彬、章文嵩等,造就了一批顶尖技术牛人,也培养并且储备了一大批技术人才,锻炼了一个有实战经验有战斗力的技术团队。正是这一批踏实肯干的技术人使得这一切成为可能。

后记:或许有人说这是在神话或者神化淘宝技术团队,应该说,以上只是客观事实。国内想跟淘宝同台竞技的团队,更应该反思一下到底差距在哪里,哪些地方可以借鉴并且少走一点弯路。
来自: fenng博客
33
0
评论 共 10 条 请登录后发表评论
10 楼 歆渊 2013-01-09 11:46
要顶! 开源文化兴盛的背后体现的是技术人、跨界技术团队的价值,相信这是大的趋势和方向。
9 楼 bing_zz 2013-01-08 15:27
说得跟神一样
8 楼 paskaa 2013-01-07 09:29
一直在学习阿里系的技术。。。
lvwenwen 写道
paskaa 写道
一直在学习阿里系的技术。。。

哥们,在哪里学习,求分享

网上搜的,还有他们的开源站点,我相信我搜的到你也搜的到
7 楼 wiflish 2013-01-07 09:20
remoteJavaSky 写道
国内想跟淘宝同台竞技的团队,更应该反思一下到底差距在哪里,哪些地方可以借鉴并且少走一点弯路。   如果很了解淘宝技术团队,分享一下差距到底在哪里,或许对我们更有意义

来些干货和细节更靠谱些。
6 楼 javamonkey 2013-01-07 09:05
局外人来看,上万台的服务器和硬件设备支撑,大手笔的资金投入,想不支撑大规模访问都难。
5 楼 lvwenwen 2013-01-06 23:48
paskaa 写道
一直在学习阿里系的技术。。。

哥们,在哪里学习,求分享
4 楼 remoteJavaSky 2013-01-06 19:35
国内想跟淘宝同台竞技的团队,更应该反思一下到底差距在哪里,哪些地方可以借鉴并且少走一点弯路。   如果很了解淘宝技术团队,分享一下差距到底在哪里,或许对我们更有意义
3 楼 sarstime 2013-01-06 15:49
有更详细的后续文章么?
2 楼 paskaa 2013-01-06 14:11
一直在学习阿里系的技术。。。
1 楼 godymoon 2013-01-06 13:07
LVS 项目创建人章文嵩先生加盟淘宝?

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 这一年,这些书:2022年读书笔记

    那么,今天我要告诉你,如果,你将一个原子,或者是一个中子,放大到地球大小,那么,你看到的,它就是一个世界…… 你很努力地在寻找一个结果,却忽略了寻找本身的重要性。事实上,当年我问你这个问题,并不是期望...

  • 这一年,这些书:2021年读书笔记

    每个来到这个世界上的人,都带着一个共同的目的:求名图利。但如果一个人能放下名利心,那么,便能名利双收。 这个世界正在发生的最大的变化就是,它正在回归诞生时的状态——混沌化。 无极就是事物的最原始状态,...

  • 用C语言写一个查单词的小demo

    用C语言写一个查单词的小demo #include <stdio.h> #include <string.h> #include <stdlib.h> int main(int argc, const char *argv[]) { // 用只读的方式打开我们的单词库 FILE *fp = fopen(...

  • 曾有一个人,爱我如生命(3)

    第十一章   一切都已结束, 不再藕断丝连。 我最后一次拥抱你的双膝, 说出令人心碎的话语。 一切都已结束, 回答我已听见, 我不愿再一次将自己欺骗。也许,往事终会将我遗忘, 我此生与爱再也无缘。 ----------...

  • 曾有一个人,爱我如生命(2)

     日子一天接着一天飞逝,每一分钟都带走生活的一部分,我们两个人期望的是生活,可你看,死亡却已临近。世界上没有幸福,但有自由和宁静。    ---------------------------------------------------------- ...

  • 明翰经验系列之恋爱篇V5.6(持续更新)

    抽空,用写技术博客的形式写了一系列关于情感方面的文章。...本来是写成一个专栏的,后来想想,毕竟是技术博客,还是稍微低调一些吧, 于是,就有了这篇超级超级超级无敌无敌无敌长长长的文章。。。...

  • 韩国操作系统往事:三星一己之力对抗谷歌和苹果

    韩国是一个神奇的国家,五十年前他们和我们一样一穷二白,五十年后韩国却依靠蚕食日本的高科技市场,一跃成为了世界经济发展的奇迹标杆。   而在韩国崛起后,脆弱的民族自尊心,虽然让他们有了芯片,做了系统,拍...

  • 数据分析最具价值的49个案例(建议收藏)

    本文力图从企业运营和管理的角度,梳理出发掘大数据价值的一般规律:一是以数据驱动的决策,主要通过提高预测概率,来提高决策成功率;二是以数据驱动的流程,主要是形成营销闭环战略,提高销售漏斗的转化率;三是以...

  • 人机平台:商业未来行动路线图

    承接第一部作品的内容,两位作者在这本新书中对当下和未来的商业形态进行了更广泛而深入的讨论,并提出了未来商业的三大关键词——机器、平台、大众。 大脑与机器的博弈、是产品与平台的制衡、是核心与大...

  • 深度学习:智能时代的核心驱动力量

    内容简介 科技巨头纷纷拥抱学习,自动驾驶、AI、语音识别、图像识别、智能翻译以及震惊世界的 ...本书作者特伦斯 · 谢诺夫斯基是人工智能十大科学家之一、学习先驱及奠基者,亲历了学习在 20 世纪 70 年代到 90 年...

  • 大数据公司挖掘数据价值的49个典型案例

    而像IBM、Oracle、EMC、惠普这类大型技术公司纷纷投身大数据,通过整合大数据的信息和应用,给其他公司提供“硬件软件 数据”的整体解决方案。我们关注的重点是大数据的价值,第一类公司首当其冲。 更多精彩内容...

  • 智能家居必备的以下几款科技

    科技的发展十分迅速,人工智能不断更迭,仅仅过了五年的时间,我们可以看到的是智能家居改变生活,虽然这些高科技高智能距离我们的日常生活尚有一段距离,但实际上,小到智能手表、智能眼镜,大到智能厨房,各种各样...

  • 大数据公司挖掘数据价值的49个典型案例(值得收藏)

    从其会员卡的用户购买记录中,特易购可以了解一个用户是什么“类别”的客人,如速食者、单身、有上学孩子的家庭等等。 这样的分类可以为提供很大的市场回报,比如,通过邮件或信件寄给用户的促销可以变得十分个性化...

  • node-v0.8.10-sunos-x64.tar.gz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

  • 【课程设计】实现的金融风控贷款违约预测python源码.zip

    【课程设计】实现的金融风控贷款违约预测python源码.zip

  • node-v0.10.27-x86.msi

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

  • 课设毕设基于SSM的高校二手交易平台-LW+PPT+源码可运行.zip

    课设毕设基于SSM的高校二手交易平台--LW+PPT+源码可运行

  • c++,冒险游戏,可供学习

    冒险游戏,可供学习

  • node-v0.11.7-sunos-x64.tar.gz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

Global site tag (gtag.js) - Google Analytics