`
骑猪逛街666
  • 浏览: 129839 次
  • 性别: Icon_minigender_2
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

阿里下一代数据库技术:把数据库装入容器不再是神话

阅读更多
阅读原文请点击:http://click.aliyun.com/m/21816/
摘要: 张瑞,阿里集团数据库技术团队负责人,阿里巴巴研究员,Oracle ACE。双十一数据库技术总负责人,曾两次担任双十一技术保障总负责人。自2005年加入阿里巴巴以来,一直主导整个阿里数据库技术的不断革新。

回顾视频:http://yq.aliyun.com/webinar/play/220
张瑞,阿里集团数据库技术团队负责人,阿里巴巴研究员,Oracle ACE。双十一数据库技术总负责人,曾两次担任双十一技术保障总负责人。自2005年加入阿里巴巴以来,一直主导整个阿里数据库技术的不断革新。

近日,在京举行的2017中国数据库技术大会上,来自阿里巴巴集团研究员张瑞发表了题为《面向未来的数据库体系架构的思考》的主题演讲。主要介绍了阿里数据库技术团队正在建设阿里下一代数据库技术体系的想法和经验,希望能够把阿里的成果、踩过的坑以及面向未来思考介绍给与会者,为中国数据库技术的发展出一份力。

1

演讲全文:

我先介绍一下我自己,我2005年加入阿里一直在做数据库方面的工作,今天这个主题是我最近在思考阿里巴巴下一代数据库体系方面的一些想法,在这里分享给大家,希望能够抛砖引玉。大家如果能够在我今天分享后,结合自己面对的实际场景,得到一些体会,有点想法的话,我今天分享的目的就达到了。

今天我会讲以下几方面内容:首先讲一下我们在内核上的一点创新、数据库怎么实现弹性调度、关于智能化的思考、最后是曾经踩过的坑和看到未来的方向。

阿里场景下数据库所面临的问题

2

首先说一下,阿里巴巴最早一代使用的数据库技术是Oracle,后面大家也知道一件事情就是去IOE,去IOE过程中我们迈向了使用开源数据库的时代,这个时代今天已经过去,这个过程大概持续了五六年,整个阿里巴巴有一个大家都知道的开源MYSQL分支--AliSQL,我们在上面做了大量的改进,所以我这里列了一下在AliSQL上的一些改进,但今天我实际上并不想讲这个,我想讲一下面向未来的下一代数据库技术、数据库架构会往哪个方向走。

我觉得是这样的,因为今天的阿里巴巴毕竟是一个技术的公司,所以很多时候我们会看比如说Google或者是一些互联网的大的公司,他们在技术上创新点来自于哪里?来自于问题。就是说今天在座的各位和我是一样的,你所面对场景下的问题是什么、你看问题深度如何决定了你今天创造的创新有多大。

所以今天我们重新看一下阿里面临的问题是什么,相信在座的各位一定也有这样的想法,阿里所面临的问题不一定是你们的问题,但我想说今天通过阿里面临的问题,以及我们看到这些问题后所做的事情,期待能够给大家带来参考,希望大家也能够看到自己所面临的问题是什么,你将如何思考。

3

可以看到其实阿里巴巴的应用和Facebook、Google的还是有很大区别的,我们也找他们做了交流,发现跟他们的业务场景真的不一样,首先我们的主要应用是交易型的,这些应用会有些什么要求,你会看到有这些点(见图片),下面主要讲一下我们的思考。

今天数据的高可用和强一致是非常重要的,数据不一致带来的问题是非常非常巨大的,大家也用淘宝,也是阿里巴巴一些服务的用户,数据不一致带来的问题,每一个用户、甚至我的父母都会关注这些事情。

第二,今天存储成本是非常高的,所有的数据中心已经在用SSD,但数据的存储成本依然是一个大型企业面临的一个非常大的问题,这都是实实在在钱的问题。

另外刚才也提到了,数据都是有生命周期的,那么数据尤其是交易数据是有非常明显的冷和热的状态,大家一定很少看自己一年前在淘宝的购买记录,但是当下的购买记录会去看,那系统就需要经常会去读它、更新它。

还有一个特点是今天阿里的业务还是相对简单的,比如我们要在OLTP性能上做到极致性。还有一个阿里巴巴特有的点就是双十一,双十一本质上是什么,本质上就是制造了一个技术上非常大的热点效应。这对我们提出什么样的需求呢?需求就是一个极致弹性的能力,数据库实际上在这个方向是非常欠缺的,数据库怎么样去做到弹性伸缩是非常难的事情。

最后我想说说DBA,今天在座的很多人可能都是DBA,我想说一下阿里在智能化这个方向上得到的思考是什么样的,我们有海量的数据,我们也有很多经验很丰富的DBA,但这些DBA怎么样去完成下一步的转型、怎么样不成为业务的瓶颈?数据库怎么样做到自诊断、自优化。这是我们看到的问题,最后我也会来分享一下我在这方面的思考。

阅读原文请点击:http://click.aliyun.com/m/21816/
分享到:
评论

相关推荐

    2017阿里技术年度精选01

    阿里数据库技术解读 阿里下一代数据库技术:把数据库装入容器不再是神话 接下时序数据存储的挑战书,阿里 HiTSDB 诞生了 运维 49 61 77 96 超全总结 | 阿里如何应对电商故障?神秘演练细节曝光 如何高效排查系统故障?...

    数据库课程设计.doc

    确定用户的需求,并把这些要求写成用户和数据库设计者都能够接受的需求分析报告。 概念设计: 产生反应企业组织信息需求的数据库概念结构。 设计出独立于计算机硬件和DBMS(数据库管理系统)的概念模式。 逻辑结构...

    如何正确处理exchange数据库装载不成功的提示

    处理exchange数据库装载不成功 exchange邮箱系统 确保邮箱数据不丢失

    Java数据库查询结果的输出

    Java数据库查询结果的输出 摘自:北京海脉信息咨询有限公司  利用Java开发数据库应用时,经常需要在用户界面上显示查询结果。我们可以利用Vector、JTable、AbstractTableModel等三个类较好地解决这一问题。 类...

    Informix数据库常用命令介绍

    Informix数据库服务器提供了在shell提示符下直接执行管理任务功能的应用程序。列出这些应用程序:oninit 初始化OnLine dbexport 将数据库卸出到ASCII文件 dbimport 建立数据库 dbload 用命令文件装入数据 dbschema ...

    数据库作业:第九章: 关系查询处理和查询优化习题

    首先读取表R和S,一般做法:在内存中尽可能多的装入某个表的若干块,留出一块存放另一个表的元组。设内存中可以存放10块R元组和1块S元组; 则读取总块数为:20000/40+(20000/(40*10)*1200/30=500+2000=2500块; ...

    数据库设计说明.doc

    5 支持程序 简要介绍同数据库直接有关的所有支持程序(数据库分析程序、存储分配程序、数据 库装入程序和数据管理系统等),包括程序的各称、功能和主要程序的运行考虑(如运 行时间、所需硬件设置等),还要列出...

    数据库系统概论-SQL-CH10-作业解答.doc

    恢复子系统的功能是:把数据库从错误状态恢复到某一已知的正确状态。 4、数据库运行可能产生的故障有哪几类?哪些故障影响事务的正常执行?哪些故障破坏 数据库数据? 答:数据库系统中可能发生各种各样的故障,...

    电话计费管理系统【SQLServer数据库+课程设计文档】

    电话计费管理系统【SQLServer数据库+课程设计文档】 一、需求分析 1.1任务概述 1.2功能定义 1.3流程图定义 1.4数据字典(简称DD) 1.5 功能模块分析 1.6数据流图 二、概要设计 2.1概述 2.2系统E-R ...

    VXML数据装入关系数据库的软件.doc

    VXML数据装入关系数据库的软件

    数据库管理系统.pptx

    7 数据库维护功能 DBMS提供一系列的实用程序来完成包括数据库的初始数据的装入、转化功能,数据库的存储、恢复功能,数据库的重新组织功能和性能监视、分析功能等. 数据字典 数据字典是对数据库结构的描述,...

    DB2数据库基本操作

    DB2数据库基本操作 DB2数据库 1、Load 方法装入数据: export to tempfile of del select * from TABLENAME where not 清理条件; load from tempfile of del modified by delprioritychar replace into ...

    数据库管理系统(1).doc

    (2)应用程序的编译:把包含着访问数据库语句的应用程序,编译成在dbms支持下可 运行的目标程序。 (3)交互式查询:提供易使用的交互式查询语言,如sql。dbms负责执行查询命令, 并将查询结果显示在屏幕上。 (4)数据...

    超详细的MySQL基础入门教程 从0讲到数据库操作 共22页.pdf

    6.7 用文本方式将数据装入一个数据库表 11 7 检索数据 12 7.1 从数据库表中检索信息 12 7.2 查询所有数据 12 7.3 修正错误记录 12 7.4 选择特定行 13 7.5 选择特定列 13 7.6 对行进行排序 14 7.7 行计数 15 8 多表...

    数据库设计重、难点.doc

    由于数据库是一个单位的模拟, 数据库设计者必须对一个单位的组织机构、各部门的联系、有关事物和活动以及描友谊 赛它们的数据、信息流程、政策和制度、报表及其格式和有关的文档等有所了解。收集 和分析这些资料的...

    基于Java web的求职招聘系统(源码+数据库+部署说明).zip

    2、在SQL server 中创建数据库,执行database目录下的HRIMS_DB.sql数据库脚本文件创建数据库SQL语句创建数据库和表及数据; 3、设置数据库连接配置,修改src/connect_DB目录下的ConnectDB.java文件,将其中的数据库...

    数据库结构设计及优化.pptx

    运 行 维 护 实 施 阶 段 物 理 设 计 存储安排 方法选择 存取路径建立 编写模式 装入数据 数据库试运行 性能检测、转储/恢复 数据库重组和重构 模块设计 IPO表 程序编码、 编译联结、测试 新旧系统转换、运行、...

    把Ubuntu装入U盘

    把Ubuntu光盘镜像装入U盘的menu.lst命令编写。

    数据库优化设计方案.doc

    数据库优化方案设计 XX信息管理平台从大型数据库环境四个不同级别的调整分析入手,分析数据库平台的系 统结构和工作机理,从九个不同方面设计数据库的优化方案。 对于数据库的数据优化,主要有四个不同的调整级别,...

    漫谈兼容内核.zip

    漫谈兼容内核之七:Wine的二进制映像装入和启动 漫谈兼容内核之八:ELF映像的装入(一) 漫谈兼容内核之九:ELF映像的装入(二) 漫谈兼容内核之十:Windows的进程创建和映像装入 漫谈兼容内核之十一:Windows DLL的装入...

Global site tag (gtag.js) - Google Analytics