Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出,HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。
原文章:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
相关推荐
hadoop简介,可以初步认识hadoop
1、Hadoop 简介 2、Hadoop 的发展历史 3、Hadoop 的特点 三、Hadoop 核心 1、分布式文件系统——HDFS 2、分布式计算框架——MapReduce 3、集群资源管理器——YARN 四、Hadoop 常用组件 五、Hadoop 在国内外的应用...
带图带说明:Hadoop简介及Apache Hadoop三种搭建方式
云计算简介,Hadoop简介,云计算环境下信息安全问题
Chapter11_Hadoop简介.pdf
福建师范大学精品大数据导论课程系列 (5.1.1)--4.1.1 hadoop简介之一.pdf 福建师范大学精品大数据导论课程系列 (5.2.1)--4.1.2 hadoop简介之二.pdf 福建师范大学精品大数据导论课程系列 (5.3.1)--4.2 HDFS的简要介绍...
福建师范大学精品大数据导论课程系列 (5.1.1)--4.1.1 hadoop简介之一.pdf 福建师范大学精品大数据导论课程系列 (5.2.1)--4.1.2 hadoop简介之二.pdf 福建师范大学精品大数据导论课程系列 (5.3.1)--4.2 HDFS的简要介绍...
大数据与云计算教程课件 优质大数据课程 01.Hadoop简介与安装入门(共29页).pptx 大数据与云计算教程课件 优质大数据课程 02.MapReduce(共23页).pptx 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN(共...
大数据概述包括: 大数据绪论,Hadoop简介,数据库技术历史和发展,分布式计算架构
Hadoop是现阶段数据开发的基础,Hadoop通常是指一个更广泛的概念—-Hadoop生态圈(基于或关于Hadoop的大数据开发的各种软件环境) 是Apache公司使用Java语言编写的开源的,分布式系统的基础架构 分布式就是,当储存...
福建师范大学精品大数据导论课程系列 (5.2.1)--4.1.2 hadoop简介之二.rar
福建师范大学精品大数据导论课程系列 (5.1.1)--4.1.1 hadoop简介之一.rar
Hadoop本身是由Yahoo!公司开发的后来贡献给了Apache的一套开源的、可靠的分布式架构 Hadoop提供了简单的编程模型能够对大量的数据进行分布式处理(The Apache Hadoop software library is a framework that allows ...
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算
简要介绍了hadoop的发展历程、原理、特征以及基于hadoop的分布式系统的安装方法。
Hadoop-0.21.0分布式集群配置.doc