Spark 2.0 时代全面到来 —— 2.0.1 版本发布

0顶
0踩

2016-10-11 10:38 by 副主编 mengyidan1988 评论(0) 有7419人浏览

Spark

距离Spark 2.0.0发布两个月后，Spark 2.0.1版本发布了，这是一个修正版本，共处理了300多个Issue，涉及spark稳定性和bug等方面的修复，它的发布意味着Spark 2.0接近生产环境使用要求，想要尝试Spark 2.0的可以动手了。

Apache Spark 2.0是基于spark branch-2.x 开发的，相比于branch-1.0，它在功能和性能等方面均有巨大改进。在性能方面，Spark 2.x 有2~10倍的提升；在功能方面，Spark SQL中的Dataset变得成熟，Spark 2.x通过Dataset重构了Spark Streaming和MLlib的API，进而使得这两个系统在易用性和性能方面有重大提升，在不久的将来，Dataframe/Dataset API（high-level API）将取代RDD API（low-level API），成为主流的Spark编程接口。

Apache Spark 2.x在性能和功能方面的改进主要包括：

1. 性能方面

相比于Spark 1.0，Spark 2.0在引擎性能方面有重大优化，其优化主要体现在Spark Core和Spark SQL两个系统上，其优化主要得益于Tungsten计划（“钨丝计划”），其主要动机是优化Spark内存和CPU的使用，使其能够逼近物理机器的性能极限。

利用“整阶段代码生成”（“whole stage code generation”），使得SQL和DataFrame中算子性能优化2-10倍
通过“向量化计算”提升Parquet格式文件的扫描吞吐率
提升ORC格式文件的读写性能
提升Catalyst查询优化器性能

2. 功能方面

（1）Spark Core/SQL:Tungsten Phase 2，优化CPU与Memory方面

“钨丝计划”完成第二阶段任务，在内存和CPU使用方面进一步优化Spark引擎性能，重构了大量数据结构和算法的实现，使得Dataframe/Dataset性能得到显著提升，这使得Dataframe/Dataset有能力成为其他几个系统（比如Spark Streaming和MLlib）的基础API。

注：“钨丝计划”包括三个方面的优化：

Memory Management and Binary Processing： Java GC严重，且java对象内存开销大，可采用类似C语言机制，直接操纵binary data（sun.misc.Unsafe）
Cache-aware Computation：合理使用CPU的L1/L2/L3 cache，设计对cache友好的算法
Code Generation：可去除条件检查，减少虚函数调度等

（2）Spark SQL: 统一DataFrame与Dataset API

众所周知，在Spark 1.x中，DataFrame API存在很多问题，包括不是类型安全的(not type-safe)，缺乏函数式编程能力（not object-oriented）等，为了克服这些问题，社区引入了Dataset，相比于DataFrame，它具有以下几个特点：类型安全，面向对象编程方式；支持非结构化数据（json）；java与scala统一接口和性能极好的序列化框架等，她将成为Spark未来主流的编程接口（RDD API是low-level API，而Dataset则是high-level API）。

（3）Spark SQL：支持SQL 2003

Spark SQL在通用性方面有重大突破，它跑通了所有（99个）TPC-DS查询，并有以下几个改进：

解析器可同时支持ANSI-SQL 和Hive QL
实现了DDL
支持大部分子查询
支持View

（4）Spark Streaming：引入Structured Streaming

Spark Streaming基于Spark SQL（DataFrame / Dataset ）构建了high-level API，使得Spark Streaming充分受益Spark SQL的易用性和性能提升。Spark Streaming重构的API主要是面向结构化数据的，被称为“Structured Streaming”，其主要特性包括：

DataFrame / Dataset API的支持
提供了Event time, windowing, sessions, sources & sink等API
连接流式数据与静态数据集
交互式查询结果：通过JDBC server将RDD结果暴露出去，以便于交互式查询

（5）Spark MLlib: MLlib 2.0诞生

Spark MLlib朝着2.0进化，主要体现在机器学习模型的多样化，持久化和定制化上，具体包括：

广义线性模型的全面实现
Python & R API的支持
增强模型持久化能力
Pipieline定制化

Apache Spark 2.0在功能和性能的重大改进，使得它在分布式计算领域进一步巩固了自己的地位，随着Spark应用越来越广泛，它将变成数据工程师的一项基本技能。

Apache Spark 2.0.1 发行说明：https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12336857

Apache Spark 2.0.1下载地址：http://spark.apache.org/downloads.html

Apache Spark 2.0 新特性与展望：http://www.chinahadoop.cn/course/697

来自：开源中国

分享到：

0
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

一、Spark GraphX计算：寻找相同的用户，合并信息 ### --- 寻找相同的用户，合并信息 ~~~ 假设有五个不同信息可以作为用户标识，分别为：1X、2X、3X、4X、5X； ~~~ 每次可以选择使用若干为字段作为标识 ~~~ 部分...

一、Spark GraphX计算 ### --- Spark GraphX计算 ~~~ 图的定义 ~~~ 属性操作 ~~~ 转换操作 ~~~ 结构操作 ~~~ 关联操作 ~~~ 聚合操作 ~~~ Pregel API 二、图的基本操作三、编程实现：SparkGraphX计算 #...

C:\Users\Administrator\.m2\repository\org\apache\spark\spark-core_2.12\2.4.5\spark-core_2.12-2.4.5.jar;C:\Users\Administrator\.m2\repository\com\thoughtworks\paranamer\paranamer\2.8\paranamer-2.8.jar;...

spark点点滴滴 —— 开发运行scala程序

概述环境：spark 2.0.1 运行模式：spark on yarn我们用scala语言编写的程序如何在spark集群上提交任务并运行呢，我们知道一个java程序spark提交命令如下：spark-submit --class className --name jobName --master ...

Spark+Kafka构建实时分析Dashboard

Spark+Kafka构建实时分析Dashboard，使用的是林子雨老师的教程，在这里记录下我实验的过程

Spark面试精选题（06）

检查所有机器时间是否一致、hosts是否都配置了映射、客户端和服务器端的Scala版本是否一致、Scala版本是否和Spark兼容检查是否兼容问题请参考官方网站介绍： 9、开发spark应用程序（和Flume-NG结合时）发布...

Spark高级数据分析（1） ——纽约出租车轨迹的空间和时间数据分析

前言本文在之前搭建的集群上，运行一个地理空间分析的示例，示例来自于《Spark高级数据分析》第八章。 Github项目地址：https://github.com/sryza/aas/tree/master/ch08-geotime ，这个例子是通过分析纽约市2013...

Spark面试题修改版本

答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。 standby节点要从zk中，获得元数据信息，恢复集群运行状态...

Spark面试近300题初始版本

答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状...

Spark面试题及其答案

答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外...

Spark面试题、答案

Python3：Python+spark编程实战总结

不宜妄自菲薄，引喻失义。 ...windows上配置 Python+spark开发环境 ...安装注意版本可下载： anaconda4.2 一、实例分析 1.1 数据 student.txt 1.2 代码 #studentExample 例子 ...

Spark精选面试题六（变态篇）

检查所有机器时间是否一致、hosts是否都配置了映射、客户端和服务器端的Scala版本是否一致、Scala版本是否和Spark兼容检查是否兼容问题请参考官方网站介绍： 9、开发spark应用程序（和Flume-NG结合时）发布应用...

sparkstreaming实现思路和模块概述

Spark Streaming 实现思路与模块概述 [酷玩 Spark] Spark Streaming 源码解析系列，返回目录请猛戳这里「腾讯·广点通」技术团队荣誉出品 ...* 2016.11.14 update, Spark 2.0 全系列 √ (2.0.0, 2.

spark面试题

sparkstreaming-JobScheduler, Job, JobSet 详解

JobScheduler, Job, JobSet 详解 [酷玩 Spark] Spark Streaming 源码解析系列，返回目录请猛戳这里「腾讯·广点通」技术团队荣誉出品 ...* 2016.11.14 update, Spark 2.0 全系列 √ (2.0.0,

大、小断层矿井小波SVM融合智能故障预测matlab代码.zip

1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

垂直SeekBar（拖动条）.zip

android 源码学习. 资料部分来源于合法的互联网渠道收集和整理，供大家学习参考与交流。本人不对所涉及的版权问题或内容负法律责任。如有侵权，请通知本人删除。感谢CSDN官方提供大家交流的平台

libADLMIDI1-1.5.0-bp153.1.1.x86-64.rpm

libADLMIDI1-1.5.0-bp153.1.1.x86_64.rpm 是用于在 x86_64 架构的设备上安装的 RPM 包，具体功能如下：名称：libADLMIDI1 版本：1.5.0 摘要：带有 OPL3 (YMF262) 模拟器的软件 MIDI 合成器库许可证：GPL-3.0-only 和 LGPL-3.0-only 该库提供了一个基于 ADLMIDI 的软件 MIDI 合成器，它模拟了 OPL3 音源芯片（FM 合成）。它可以通过使用 ADLMIDI 库来实现多平台的 MIDI 播放和 OPL3 模拟。该 RPM 包适用于 x86_64 架构，用于在相关设备上安装 libADLMIDI1 库文件。库文件包括： /usr/lib64/libADLMIDI.so.1 和 /usr/lib64/libADLMIDI.so.1.5.0：库文件 /usr/share/doc/packages/libADLMIDI1/AUTHORS、/usr/share/doc/packages/libADLMIDI1/README.md 等文档文件：文档文件

0顶0踩