阅读更多
开源力量公开课第58期:Hadoop核心系统原理、生态系统介绍和实用场景解析

时间: 2014-05-27 20:00
直播地址:http://www.osforce.cn/openclass/79/show?fr=iteye
价格:线上免费 线下免费

开源力量公开课,每周二,晚八点,让我们一起向大牛们学习!

课程背景:

随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据的时代。大数据处理对于未来的IT开发人员而言,已经成为一项必备的技能,但是要用好大数据,除了工具本身之外,还包括运维、优化、分布式等方面的知识,形成了全新的挑战,其中对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具,首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。

课程目标:
了解Hadoop在国内的应用场景及Hadoop的未来。掌握Hdoop的分布式文件系统HDFS的原理、Hadoop的分布式计算MapReduce、Hadoop的Key-Value数据库Hbase、Hadoop的Key-Value数据库Hbase、Hadoop的生态系统介绍。

课程大纲:

大数据的概念
大数据的”4V”特性
传统海量数据的存储和计算解决方案
Hadoop的发展史
Hadoop的生态系统介绍
Hadoop在国内的应用场景
Hadoop的未来

Hdoop的分布式文件系统HDFS的原理
1)HDFS的架构
2)NameNode的功能
3)DataNode的功能
4)SNN的功能
5)HDFS的安全问题

Hadoop的分布式计算MapReduce
1)MapReduce的原理
2)MapReduce的架构
3)MapReduce的Mapper抽象类详解
4)Reducer抽象类详解

Hadoop的Key-Value数据库Hbase
1)Hbase的原理
2)Hbase的架构图
3)Hbase的数据模型
4)Hbase的使用场景介绍

Hadoop的生态系统介绍
1)FlumeNG介绍
2)Sqoop介绍
3)Hive介绍
4)Pig的介绍
5)Oozie介绍

讲师介绍:

刘刚:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

刘刚曾就职于国内最大CDN厂商蓝汛、阿里等知名IT企业,担任Hadoop高级工程师、云计算架构师,目前就职于高德软件的云平台架构中心负责海量数据云平台架构的搭建。同时兼任北京大学软件所负责的“核高基”8-6课题,以及高性能企业级应用服务器的开发(PKUAS2010),《Hadoop应用开发技术详解》的作者,开源框架EasyHDFSWeb和EasyHDFSControl的作者。在我国Hadoop技术圈内非常活跃,经常在国内外各种大型技术研讨会和技术峰会和沙龙上做技术演讲与经验分享,深受欢迎。
5
0
评论 共 5 条 请登录后发表评论
5 楼 weijunbao 2014-05-28 12:23
[/size]ze=xx-large]122[align=center][/align]
4 楼 ljz0898 2014-05-26 11:24
开源框架EasyHDFSWeb和EasyHDFSControl的作者??怎么网上找不到这两个开源项目的源码啊???求提供
3 楼 pi88dian88 2014-05-26 09:34
2 楼 dongbiying 2014-05-23 17:04
1 楼 fat1 2014-05-23 16:04
我听了好几期了,不错

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 一节课轻松通关 Spark

    三节课轻松通关 Spark (一)前言第01讲: MapReduce:计算框架和编程模型第02讲:Hadoop:集群的操作系统第03讲:如何设计与实现统一资源管理与调度系统第04讲:解析 Spark 数据处理与分析场景第05讲:如何选择 ...

  • 左耳听风——笔记二:程序员练级攻略

    文章目录 入门篇 操作系统入门 Linux 编程技能 专业基础篇 编程语言 Java 语言 学习 Go 语言 理论学科 数据结构和算法 其它理论基础知识 系统知识 C10K 问题 实践项目 软件设计篇 编程范式 一些软件设计的相关原则 ...

  • 机器学习相关资料推荐 http://blog.csdn.net/jiandanjinxin/article/details/51130271

    机器学习数据挖掘免费电子书 斯坦福《自然语言处理》课程视频 介绍:ACL候任主席、斯坦福大学计算机系Chris Manning教授的《自然语言处理》课程所有视频已经可以在斯坦福公开课网站上观看了(如Chrome不行,可用IE...

  • 机器学习,深度学习的资料和工具库大全

    介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工

  • AI 工程师职业指南

    这方面基础理论的学习,除了 Andrew Ng 的著名课程以外,《 Learning from Data 》这门公开课也非常值得大家学习,这门课没有任何背景要求,讲授的内 容是在所有模型之下的基础中的基础,非常地靠近机器学习的内核...

  • 栋的月结 | 第二回合(定期更新、动态、架构、云技术、算法、后端、前端、收听/收看、英文、书籍、影视、好歌、新奇)[含泪总结.. 憋泪分享!]

    以下是我在 2020 年 2 月 1 日至 29 日的所见、所闻、所学和所悟。 现在,我把它们安利给你们。   定期更新 原创专栏: 一文搞定 Linux 管理员手册:既简单又深刻 官方授权: Baeldung Java 周评 符合...

  • Java架构师,大数据架构师,高并发设计模式,机器学习知识点分享

    第一章:java精品课程目录大全 1、亿级流量电商详情页系统的大型高并发与高可用缓存架构实战 1课程介绍以及高并发高可用复杂系统中的缓存架构有哪些东西?32分钟 2基于大型电商网站中的商品详情页系统贯穿的...

  • 期末考试题库3

    311.小明在一家IT教育公司做运营工作,经常听到同学聊到MaxCompute核心概念,但又不知其意,下列哪些选项( ABCDE )能帮助小明更好的了解MaxCompute。 A:Project(项目)项目是MaxCompute的基本组织单元,类似于...

  • 《云计算与大数据技术应用》

    云计算是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的...

  • 机器学习及深度学习相关资料汇总

    Github上同学总结的机器学习和deeplearning方面的很全的资料: 原文地址:ty4z2008/Qix 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM...

  • 机器学习(Machine Learning)&深度学习(Deep Learning)资料

    机器学习(Machine Learning)&深度学习(Deep ...介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Ne...

  • go技术文章梳理(2018)

    Gin和React构建Web应用程序 https://hakaselogs.me/2018-04-20/building-a-web-app-with-go-gin-and-react/ 5. 机器学习的实用方法 https://github.com/GokuMohandas/practicalAI gocn_news_2018-12-12 1. Go分布式...

  • python从入门到精通 清华大学出版社-清华大学出版社 python

    JetBrains大中华区市场部经理赵磊作序!超过300个实战案例,10万行源代码,22个综合实战项目,... Python解析库 ? Python数据存储 ? Python异步数据抓取 ? Python移动App数据抓取 ? Python可见即可爬 ? Python Scra...

  • 关于Mongodb的全面总结

    MongoDB的官方文档基本是how to do的介绍,而关于how it worked却少之又少,本人也刚买了《MongoDB TheDefinitive Guide》的影印版,还没来得及看,本文原作者将其书中一些关于MongoDB内部现实方面的一些知识介绍...

  • MongoDB 全面总结

    ...    MongoDB的内部构造《MongoDB The Definitive Guide》 ...MongoDB的官方文档基本是how to do的介绍,而关于how it worked却少之又少,本人也刚买了《MongoDB TheDefinitive Guide》的影印版,还...

  • 基于OpenGL的C语言的魔方项目.zip

    C语言是一种广泛使用的编程语言,它具有高效、灵活、可移植性强等特点,被广泛应用于操作系统、嵌入式系统、数据库、编译器等领域的开发。C语言的基本语法包括变量、数据类型、运算符、控制结构(如if语句、循环语句等)、函数、指针等。在编写C程序时,需要注意变量的声明和定义、指针的使用、内存的分配与释放等问题。C语言中常用的数据结构包括: 1. 数组:一种存储同类型数据的结构,可以进行索引访问和修改。 2. 链表:一种存储不同类型数据的结构,每个节点包含数据和指向下一个节点的指针。 3. 栈:一种后进先出(LIFO)的数据结构,可以通过压入(push)和弹出(pop)操作进行数据的存储和取出。 4. 队列:一种先进先出(FIFO)的数据结构,可以通过入队(enqueue)和出队(dequeue)操作进行数据的存储和取出。 5. 树:一种存储具有父子关系的数据结构,可以通过中序遍历、前序遍历和后序遍历等方式进行数据的访问和修改。 6. 图:一种存储具有节点和边关系的数据结构,可以通过广度优先搜索、深度优先搜索等方式进行数据的访问和修改。 这些数据结构在C语言中都有相应的实现方式,可以应用于各种不同的场景。C语言中的各种数据结构都有其优缺点,下面列举一些常见的数据结构的优缺点: 数组: 优点:访问和修改元素的速度非常快,适用于需要频繁读取和修改数据的场合。 缺点:数组的长度是固定的,不适合存储大小不固定的动态数据,另外数组在内存中是连续分配的,当数组较大时可能会导致内存碎片化。 链表: 优点:可以方便地插入和删除元素,适用于需要频繁插入和删除数据的场合。 缺点:访问和修改元素的速度相对较慢,因为需要遍历链表找到指定的节点。 栈: 优点:后进先出(LIFO)的特性使得栈在处理递归和括号匹配等问题时非常方便。 缺点:栈的空间有限,当数据量较大时可能会导致栈溢出。 队列: 优点:先进先出(FIFO)的特性使得

  • QT-qtablewidget表头添加复选框QHeaderView

    在 Qt 框架中,要在 QTableWidget的表头中添加复选框,可以通过继承 QHeaderView 并重写 paintSection 方法来实现。 介绍一种继承 QHeaderView的方法分别实现QTableWidget中添加复选框,可全选/全不选/部分选。

  • 分段划线测量表格通用版.doc

    分段划线测量表格通用版.doc

  • 扫雷小游戏(JAVA SE).zip

    该资源内项目源码是个人的课程设计、毕业设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 该资源内项目源码是个人的课程设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。

  • 啊哈算法哈磊基于队列的优化Bellman-ford算法搜索单源最短路径-Java实现

    本资源源自《啊哈算法》的高级算法实践,专注于讲解基于队列优化的Bellman-Ford算法在单源最短路径问题上的应用,并提供了Java语言的实现代码。哈磊老师以其独特的教学视角,不仅详细解析了传统Bellman-Ford算法的原理及其在处理含有负权边图中的优势,还深入介绍了如何通过队列优化(通常指SPFA算法)来加速这一过程,减少不必要的松弛操作,提高算法效率。 Java实现部分,代码实现清晰,注释详尽,从初始化距离数组、设置源节点开始,逐步展示如何维护一个队列来记录待检查的顶点,并通过队列进行有效的顶点遍历和松弛操作。本资源通过实例演示了如何高效地更新路径长度,检测负权环,并最终确定从源点到图中所有其他顶点的最短路径。 这份资源特别适合对图算法有深入学习需求的学生、工程师以及算法爱好者,尤其是那些关注算法性能优化和实际应用的人士。通过学习这份资源,你不仅能掌握Bellman-Ford算法的核心逻辑,还将理解如何通过队列优化策略提升算法的执行效率,为解决复杂的网络最短路径问题提供有力工具。在算法学习和软件开发的道路上,这将是一块宝贵的垫脚石,助你攀登更高的算法高峰。

Global site tag (gtag.js) - Google Analytics