阅读更多
开源力量公开课第49期课程题目:Spark——大数据时代的电光火石

形式: 线上公开课(免费)
直播地址:http://www.osforce.cn/openclass/65/show?id=iteye
开课时间:2014-04-01 20:00

课程背景:

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。

课程大纲:

  1. spark简介:http://www.csdn.net/article/2013-07-08/2816149
  2. scala语法介绍:函数式编程、闭包、几个关键的函数:map 和flatmap
  3. spark的关键组件:master、worker、sparkContext(client)
  4. 4种rdd:输入rdd、转化rdd、缓存rdd、行动rdd(只有最后一种才会进行计算)
  5. 一个wordcount例子:解释刚才讲过的rdd,图例解释DAG的概念
  6. stage的概念:stage存在的意义、stage和依赖的关系、什么是数据的pipeline
  7. 两种Task:Task的提交与执行
  8. 计算结果
讲师介绍:

白硕,从事该领域开发八年,经验丰富,具有丰富的通讯技术实践经验。

更多公开课:http://www.osforce.cn/?id=iteye
3
0
评论 共 2 条 请登录后发表评论
2 楼 fat1 2014-03-27 14:09
开源力量做的事,对整个行业都有巨大的贡献
1 楼 tzyy71160 2014-03-26 17:11
西安邮电学院

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • PE文件格式详解pdf中文版

    详细地讲解PE格式文件,适合初学者对PE格式文件有个全面地了解

  • C++PE文件格式解析类(轻松制作自己的PE文件解析器)

    用C++封装了可以轻松高效获取PE文件中各信息的类,该类有较高可读性,同时具有一定的通用性,适合学习,也适合轻松实现自己的PE文件信息查看软件

  • PE文件结构详解 --(完整版)

    From:https://blog.csdn.net/adam001521/article/details/84658708 PE结构详解:https://www.cnblogs.com/zheh/p/4008268.html PE格式解析-区段表及导入表结构详解:https://blog.csdn.net/qq_30145355/article/d...

  • PE文件格式概述

    本章提要·           PE文件格式概述·           PE文件结构·           如何获取PE文件中的OEP·           如何获取PE文件中的资源·           如何修改PE文件使其显示MessageBox的实例2.1  引言通常Windows下的EXE文件都采用PE格式。PE是英文Portable Executable的缩写

  • PE文件格式详解

    三千风雨三千雪 三千风雪我在写 流了一共三千血 你却始终不了解 简介 PE文件使用的是一个平面地址空间,所有的代码和数据都合并在一起,组成了一个很大的结构; 文件被分为不同的区块(Section,又成为区段或节等),区块中包含代码和数据,各个区块按页边界对齐; 区块没有大小限制,是一个连续结构;每一个块都有其自己的属性,如是否包含代码,是否可读可写等; PE文件的构成 MS-DOS头部 每个...

  • 最详细PE文件格式讲解(完结篇)

    / 未使用,总为0// 文件创建时间戳// 未使用,总为0// 未使用,总为0DWORD Name;// **重要 指向一个代表此 DLL名字的 ASCII字符串的 RVADWORD Base;// **重要 函数的起始序号// **重要 导出函数地址表的个数// **重要 以函数名字导出的函数个数// **重要 导出函数地址表RVA// **重要 导出函数名称表RVA// **重要 导出函数序号表RVA输出表(ExportTable)

  • 深入剖析PE文件格式与PEViewer使用指南

    本文还有配套的精品资源,点击获取 简介:PEViewer是一款分析PE文件结构的工具,有助于深入理解Windows程序的工作原理。本简介探讨PE文件格式的核心组成部分,包括DOS头、NT头、节、导入表、导出表、资源表、异常处理和线程局部存储、重定位及调试信息。尽管PEViewer项目可能尚未完成,但它依然是学习PE格式的有价值资源。 1. PE文件格式概述 ...

  • PE文件格式分析

    一、PE的基本概念     PE(Portable Execute)文件是Windows下可执行文件的总称,常见的有DLL,EXE,OCX,SYS等,事实上,一个文件是否是PE文件与其扩展名无关,PE文件可以是任何扩展名。     认识PE文件不是作为单一内存映射文件被装入内存是很重要的。Windows加载器(又称PE加载器)遍历PE文件并决定文件的哪一部分被映射,这种映射方式是将文件较高的偏

  • 可移植的PE文件格式

    PE文件格式系列译文之二---- 【翻译】可移植的可执行文件格式全接触(附注释) (The Portable Executable File Format from Top to Bottom) =================================================================== 原著:Randy Kath (微软开发者网络技术组) 翻译:ah007(沈忠平) 【说明:本译文的所有大小标题序号都是译者添加,以方便大家阅读。...

  • 深入解析 MS - DOS 头结构:从理论到代码实践

    MS - DOS 头,也被称为 MZ 头(取自该结构中两个标志性字节 “MZ”),是 MS - DOS 可执行文件(.exe)的起始部分。它包含了一系列重要信息,用于帮助操作系统正确加载和执行程序。这个结构就像是程序的 “介绍信”,向系统说明自身的基本情况。// 定义MS - DOS头结构// 魔数,必须为0x5A4D("MZ"的ASCII码逆序)// 最后一页的字节数// 文件中的页数// 重定位项的数量// 头部大小,以段落(16字节)为单位// 所需的最小额外段数。

  • PE文件格式和ELF文件格式(上)----PE文件

    Windows NT 3.1引入了一种名为PE文件格式的新可执行文件格式。PE文件格式的规范包含在了MSDN的CD中(Specs and Strategy, Specifications, Windows NT File Format Specifications),但是它非常之晦涩。     然而这一的文档并未提供足够的信息,所以开发者们无法很好地弄懂PE格式。本文旨在解决这一问题,它会对整个

  • PE文件格式详解(2)

    MS-DOS头部/实模式头部  如上所述,PE文件格式的第一个组成部分是MS-DOS头部。在PE文件格式中,它并非一个新概念,因为它与MS-DOS 2.0以来就已有的MS-DOS头部是完全一样的。保留这个相同结构的最主要原因是,当你尝试在Windows 3.1以下或MS-DOS 2.0以上的系统下装载一个文件的时候,操作系统能够读取这个文件并明白它是和当前系统不相兼容的。换句话说,当你在MS-

  • PE文件格式之MS-DOS头,PE文件头,区块

    PE文件格式之MS-DOS头,PE文件头,RVA,VA,虚拟地址,PE文件格式

  • PE教程2: 检验PE文件的有效性

    如何才能校验指定文件是否为一有效PE文件呢? 这个问题很难回答,完全取决于想要的精准程度。您可以检验PE文件格式里的各个数据结构,或者仅校验一些关键数据结构。大多数情况下,没有必要校验文件里的每一个数据结构,只要一些关键数据结构有效,我们就认为是有效的PE文件了。下面我们就来实现前面的假设。我们要验证的重要数据结构就是 PE header。从编程角度看,PE header 实际就是一个 IMA

  • 对Osloader.exe进行分析 查找e_lfanew,IMAGE_EXPORT_DIRECTORYAddressOfFunctions

    1.使用winhex打开从NTLDR中提取出的oslader.exe2.查找e_lfanew3.查找IMAGE_EXPORT_DIRECTORY->AddressOfFunctions通过上图我们可以得出,导出表的RVA是 000357B0h ,Size是 000006AFh。我们借助LordPE可以确定在哪个区段表中, 因为导出表的RVA是000357B0h 是大于00031000h 但是小于00

  • [re入门]PE文件小知识

    从PE入手的信息收集,让恶意样本无处可逃一、 PE文件格式的基础知识1.1 认识PE文件1.2 整体结构1.3 基地址1.4 相对虚拟地址1.5 文件偏移地址1.6 结构1.6.1 DOS头1.6.2 NT头1.7 PE区段分析1.8 PE文件的输入输出表1.8.1 输入表(IT、导入表)1.8.2 输出表1.8.3重定位表二、使用工具来分析PE文件2.1 使用PEview来分析 那是一个沙尘暴都能上热搜的清晨,我揉了揉眼睛从床上爬起来,顶着一路的艰难险阻来到了实验室,开机,hello 酷狗,登录PC微信,

  • 谈谈PE和ELF结构中的那些小事

    如何区分32bit和64bitPE文件?PE结构中如何告诉系统是否需要动态基址?PE中如何区分dll和exe?......

  • PE文件头的结构

    PE文件是windows下可移植的可执行文件,常见的有exe、dll后缀文件都是PE文件。PE文件头是对整个PE文件数据存储的说明和文件信息的阐述,是一种数据组织方式。32位系统的PE头包括以下结构:DOS MZ头,DOS Stub,PE头,PE头,节表和节内容。 DOS ...

  • PE文件格式详解(下)

    预定义段   一个Windows NT的应用程序典型地拥有9个预定义段,它们是.text、.bss、.rdata、.data、.rsrc、.edata、.idata、.pdata和.debug。一些应用程序不需要所有的这些段,同样还有一些应用程序为了自己特殊的需要而定义了更多的段。这种做法与MS-DOS和Windows 3.1中的代码段和数据段相似。事实上,应用程序定义一个独特的段的方法是使用标

Global site tag (gtag.js) - Google Analytics