阿里云数据事业部强琦为大家带来内存计算方面的内容,本文主要从软硬件趋势、分布式计算简史与内存计算开始谈起,包括HIVE、ADS的介绍,接着分析了统一的计算框架,最后讲解了Spark和Flink经典的系统技术分析。一起来了解下吧。
软硬件趋势
我们现在使用的主流硬件从多核CPU 32核/56核,内存192G /384G,以及定制机型下更大的内存,存储层级可以做到三T的SSD/11×6T的SATA硬盘,而网络拓扑和带宽从IDC内的万兆网卡到IDC间的专线光缆,还有大数据和它的复用程度,读写比比较高的数据是业务价值极高的数据,我们可以针对不同的读写比的数据进行不同的系统优化,随之而来会有相应的问题:
从小型机到分布式到单机能力提升,矛盾么?
是否单机能力越强越好?
构建在虚拟机上的分布式?
数据密集型的计算可能会根据不同的计算平台选定不同的机型号,这就需要看计算任务到底 短板和瓶颈在哪里,比如瓶颈在CPU,那我们适当的增加CPU核心,把混合存储和内存降下来,这样可以有效的提高整个的资源利用率。
从现在的软硬件趋势可以看到,无疑CPU越来越快、memory越来越大、存储层级越来越丰富。
分布式计算简史与内存计算
经典的DataBase(DB)和现在比较火的BigData(BD)有哪些异同点呢?
从DataBase来看,数据是业务用户产生的,数据都必须schema化,而且保证强一致性,支持随机访问,数据实时的insert要能实时的查询,数据的访问按照CIUD集中的范式,机房是分散的,注重延时,还有一些其他显著特征,这是经典的OLTP的类似功能。
现在涌现的BigData技术体系,它的数据源是业务db或者log等,强调宽表,注重扫描,它是离线数据,侧重于数据计算,机房集中,BD重吞吐,最经典的领域就是数据仓库 OLAP。
DB势必要影响BD,而BD的一些技术最终也会推进DB领域的技术演进。
BigData
BD的数据有什么特点如下:
Volume、Velocity、Variety。
它的数据量是极其巨大的,对成本的要求非常苛刻;速度方面,数据不再以天、小时为单位,数据入口的吞吐、整个的时效性和用户的体验都有非常高的要求;多样性方面,数据怎么融合,数据源采集非常广泛,格式也是五花八门,对质量的把控也完全不一样。
今天BigData所面临的情况与DataBase不可同日而语,面临着巨大的复杂性和难度。
BD数据量有扩展性、有成本问题,BD的技术栈表示能力也是从支持机器学习到非SQL领域, 从半结构化到非结构化,它的计算模式以扫描为主。
GFS
分布式计算作为软件系统,也有着它与之匹配的演进。
在工业界、产业界,分布式计算蓬勃发展有赖于GFS,很快就对应着开源实现,HDFS开源社区的蓬勃发展,在某种程度上,也给国内的技术从业者提供了很大的学习机会。
GFS主要是进行大文件或者快文件的存储,在GFS之上的系统可以把小文件合并成大文件,然后进行存储,流式文件同样根据它写入的特征特点和它读取的特点,在大文件上可以封装出流式文件;
GFS具备不可修改性,在这种情况下,可以封装出Mutable的功能特性,比如说LSM可以支持随机读写;
GFS扩展性可以达到跨核心、跨IDC、跨国;
GFS使用廉价的服务器降低成本,通过replication来增加它的可靠性。
编程模型
在此之前,普通的技术开发者很难在集群上编写分布式程序和并行程序,编程模型在其表达能力方面,从RPC到MPI到SQL,它的表达能力是在不断的降弱,但是它的应用型是在不断的增强。
要在分布式上编程,程序怎么能做到扩展性?
如何根据网络拓扑来切分任务,怎么利用数据存储的本地化来避免不必要的网络传输和网络带宽?
如何去容错?1000台服务器的集群,只要有任意一个有故障,都算做整个集群有故障。
长尾效应。
无论是异构机型还是异构的网络拓普,或是根据数据分布的data scale,都会造成长尾效应,计算会被其中最慢的那个节点拖后腿,长尾会对整个用户提交任务的延时和对雪崩造成非常大的伤害。
计算逻辑和编程模型表示方面,ETL的工程师大多希望使用SQL建模的工程师,也会使用OLAP,而机器学习由于其对性能的极致要求,用户会希望系统开放最底层接口。
表示能力和自由度其实是一对treadoff,表示能力越强约束就越少,如果对原语进行约束,系统就会做很多failover。
MapReduce
全文连接http://click.aliyun.com/m/22540/
分享到:
相关推荐
SAP内存计算技术,最新的sap on hana技术可以提供更快的计算技术,这一技术将会对现在的数据库市场造成一定的冲击。
Spark是一种快速、通用、可扩展的大数据分析...目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目,Spark是基于内存计算的大数据并行计算框架。
SAP HANA内存计算技术介绍.pptx
Mysql内存计算公式,有一定的参考意义。
SAP内存计算 HANA 数据库 高清完整 农夫山泉 胡建编写
基于SAP HANA内存计算的工业物联网云计算方案
资源名称:SAP内存计算-HANA内容简介:本书是《SAP企业信息化与最佳实践》丛书之一,全书以通俗易懂的语言、翔实生动的实例,通过结合包括农夫山泉SAP HANA实施全过程在内的相关HANA应用场景与案例,为读者详细解读...
基于内存计算技术的人工智能芯片问世:快几百倍.pdf
spark集群模式,资源调度由自己实现。分布式模式节点,资源调度掌握整个集群的资源。
不仅如此, 近年来兴起的数据密集型应用, 如神经网络和图计算 等, 呈现出较严重的数据局部性, 缓存命中率低. 在这些新兴数据密集型应用的处理过程中, 中央处 理器到主存间的数据传输量大, 导致系统的性能不佳且能耗...
SAP 内存计算介绍胶片, 比较有深度的介绍
3.SparkStreaming计算思路 4.入门案例 5.SparkStreaming工作原理 6.DStream及函数 7.集成Kafka 8.案例:百度搜索风云榜(实时ELT、窗口Window和状态State) 9.SparkStreaming Checkpoint 10.消费Kafka偏移量管理 第...
通过在规则引擎中引入内存表格的对象,我们可以把常用的数据字典类数据直接保存在内存中,这样在规则中 我们直接来访问内存中的数据,提高规则的执行效率,也可以把数据库中的数据读取出来,然后存储在内存表中,...
SAP 内存计算设备 简单介绍 SAP资料
SAP的数据库与平台技术的核心是业界领先的内存计算平台与解决方案—— HANA。 SAP HANA 提供多用途的内存应用设备,企业可以利用它即时掌握业务 运营情况,从而对所有可用的数据进行分析,并对快速变化的业务环境...
内存计算与数据库.pptx
大数据平台内存计算节点.docx大数据平台内存计算节点.docx
大数据平台内存计算节点.pdf大数据平台内存计算节点.pdf
SAP HANA高性能内存计算平台解析,SAP原厂出品