`
老江师兄弟
  • 浏览: 8994 次
文章分类
社区版块
存档分类
最新评论

Spark 2.0视频教程|快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7)

阅读更多
快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7)
分享网盘下载——https://pan.baidu.com/s/1mkqrTs0 密码: y5hg

https://pan.baidu.com/s/1c3V93wO 密码: isbr

Spark进入2.0时代,引入了很多优秀特性,性能上有较大提升,API更易用。在“编程统一”方面非常惊艳,实现了离线计算和流计算API的统一,实现了Spark sql和Hive Sql操作API的统一。真正做到了“更简单、更快速、更智能”!

课程适用于Spark零基础或有一些基础的初级学员,帮助学员从基础开始快速占领技术制高点。
学习本课程不需要具备Spark 1.x的基础,因为课程里会覆盖仍保留可用的Spark 1.x的内容。需要Scala基础,课程中用Scala编程语言。

本课程从基础开始,紧抓重点、言简意赅、深入浅出的讲解Spark 2.0,旨在学员能快速上手并灵活掌握。
课程以实操为主,提供完整详细的源码,供学员学习或应用到项目中。课程的课件也很详细,在学员不方便看视频的时候直接看课件并结合源码,同样可以达到很好的学习效果,并能大幅节省学习时间。
课程中编程语言采用当前较有前景的Scala,Hadoop采用Cloudera Hadoop的5.7.1版本,Kafka的0.10版本.
课程中对RDD操作、SQL、Streaming开发有非常深入系统的讲解,且围绕企业需求场景逐级展开和深化。
课程里不涉及当今企业里还比较少用的数据挖掘算法包MLlib和图计算模块部分。

目录——
01 Spark架构体系,应用场景
02 Spark 2.0新特性一览
03 把Spark-examples导入到IntelliJ IDEA
04 Cloudera Manager安装
05 CDH5.7.1 集群安装
06 CDH5.7.1 集群安装-续
07 Spark 2.0集群部署和测试
08 RDD详解和创建RDD方式
09 RDD操作之Transform
10 RDD的Action操作和持久化persist()
11 Pair RDD操作
12 Pair RDD常用函数详解
13.Join和cogroup
14 添加Hive服务及设置Mysql元数据库
15 [项目案例]网站流量UV和PV的统计
16 [项目案例]会话二跳率的统计
17 Spark Sql基础练习
18 SparkSesion语法练习
19 [项目案例]使用SparkSesion进行流量分析
20 [项目案例]SparkSesion操作Hive
21 Idea里打包部署,作业结果验证
22 Spark Cli命令spark-sql的使用
23 spark-sql支持传参数的封装
24 spark-sql支持传参数的封装-续
25 UDF开发和运用
26 Spark读写Json、parquet文件
27 优化篇-控制数据分区和分布
28 Spark Streaming架构和概念
29 DStream的两种类型,API介绍
30 Kafka架构体系和概念
31 Kafka集群搭建和测试
32 Streaming读Kafka开发WordCount案例
33 使用updateStateByKey完善案例
34 按天计算地区销售额
35 时间窗口
36 去重类计算案例,以计算UV为例
37 [流计算项目]需求说明和架构设计
38 [流计算项目]HBase DAO类开发和测试
39 [流计算项目]Spark和Servlet代码详解
40 [流计算项目]Highcharts代码详解,项目运行


Spark2全面精讲
分享百度网盘地址:https://pan.baidu.com/s/1hrHL4Le 密码: mais
分享到:
评论

相关推荐

    Spark 2.0 for Beginners

    Get to know the fundamentals of Spark 2.0 and the Spark programming model using Scala and Python Know how to use Spark SQL and DataFrames using Scala and Python Get an introduction to Spark ...

    快学scala2.0

    快学scala的最新版本,独家一份,学习spark2.0的必备入门书籍,快来下载,绝对高清

    Spark 2.0 for Beginners(PACKT,2016)

    Get to know the fundamentals of Spark 2.0 and the Spark programming model using Scala and Python Know how to use Spark SQL and DataFrames using Scala and Python Get an introduction to Spark ...

    最新整理的大数据scala和spark视频教程

    最新整理的大数据scala和spark完整视频教程包括资料,老师讲的很好。

    spark-3.2.2-bin-3.0.0-cdh6.3.2

    内容概要:由于cdh6.3.2的spark版本为2.4.0,并且spark-sql被阉割,现基于cdh6.3.2,scala2.12.0,java1.8,maven3.6.3,,对spark-3.2.2源码进行编译 应用:该资源可用于cdh6.3.2集群配置spark客户端,用于spark-sql

    基于Scala语言的Apache Spark学习与实践源码

    本项目是基于Scala语言开发的Apache Spark学习与实践源码,共包含53个文件。其中,Scala源代码文件21个,文本文件7个,XML文件5个,Markdown文档5个,JSON配置文件3个,Avro Schema文件2个,CSV数据文件2个,...

    快学scala 完整

    快学scala 完整清晰版 大数据spark 主要的编程语言 快学scala 完整清晰版 大数据spark 主要的编程语言

    基于Scala和Java的Spark学习项目设计源码

    本项目是基于Scala和Java开发的Spark学习项目设计源码,主要使用Scala进行开发。项目共包含576个文件,其中Scala源代码文件scala 533个,Java源代码文件java 21个,XML配置文件xml 10个,Properties配置文件...

    Spark 实战开发教程

    4、《Spark 入门之 Scala 语言解释及示例讲解》 5、《Scala编码规范》 总结: Hadoop MapReduce会被新一代的大数据处理平台替代是技术发展的趋势,而在新一代的大数据处理平台中,Spark目前得到了最广泛的认可和...

    快学scala第二版spark原生态语言

    快学scala

    spark-timeSeries.rar_scala 时间序列_spark ARIMA_spark arima_spark 滑

    采用ARIMA模型(自回归积分滑动平均模型)+三次指数平滑法(Holt-Winters),用scala语言实现的在spark平台运行的分布式时间序列预测算法

    基于Scala的Spark学习仓库设计源码

    本源码项目是基于Scala的Spark学习仓库设计,包含282个文件,主要使用Scala编程语言。该项目是一个Spark学习仓库,旨在帮助开发者学习和实践Spark技术。系统提供了丰富的学习资源,包括Spark的示例代码、文档和教程...

    Spark和Scala合集

    Scala编程实战+Python+Spark 2.0+Hadoop机器学习与大数据实战+Spark快速大数据分析

    基于Scala的Spark学习项目设计源码

    本设计源码提供了一个基于Scala的Spark学习项目。项目包含95个文件,主要使用Scala和Java编程语言。...该学习项目适合用于学习和实践Scala和Java技术,以及开发基于Spark的数据处理和分析相关的项目。

    scala开发spark代码

    此代码包含spark-core代码,spark-sql代码以及spark-streaming代码

    spark 入门学习教程

    Spark使用Scala语言进行实现,它是一种面向对象、函数式编程语言,能够像操作本地集合对象一样轻松地操作分布式数据集(Scala 提供一个称为 Actor 的并行模型,其中Actor通过它的收件箱来发送和接收非同步信息而...

    spark企业项目实战视频

    spark企业项目实战视频,包含诸多spark企业级项目视频,但这需要有一定语言基础才能去看,视频包含spark sql及spark streaming的实战视频

    sparkscala开发依赖包

    sparkscala开发依赖包 ECLIPSE 开发IDE需要的对应依赖包

    Spark2.0 For Beginners

    Develop large-scale distributed data processing applications using Spark 2 in Scala and Python

Global site tag (gtag.js) - Google Analytics