Hadoop项目已经得到社区以及行业内很多大牛的贡献,现在版本已经推进到了1.0.0版本,本人以后将就当前1.0.0版本进行源码分析,如有重大特性更新的版本发布,会有相关的源码增补分析,多谢!
首先我们需要对hadoop解压包的目录结构有个大概了解,解压下载的hadoop1.0.0版本压缩包到文件系统,目录如下:
bin: 此目录下为进行hadoop配置、运行以及管理的shell命令集合
c++:此目录下为linux下amd64-64位系统以及i386-32位系统提供的库文件集合
conf:此目录下为运行与配置hadoop环境需要的配置文件以及示例文件集合,实际运行时可以对照此目录下的文件结构进行 相应的配置
contrib:此目录下针对hadoop运行过程中需要特殊强化的模块进行了模块化封装,此为其发布包以及相应的配置文件
docs:此目录下包含对于hadoop运行配置的基本文档,包括html和pdf两种格式
ivy:此目录下包含编译hadoop的ivy编译工具的脚本和配置文件
lib:此目录下包含编译以及运行hadoop环境必须的其他模块jar包集合
libexec:检查配置所有运行hadoop所需的脚本文件
sbin:此目录下包含创建hadoop运行环境中所需系统级功能的脚本文件
share:此目录下包括整个项目各个模块共有的配置文件
src:hadoop源码
webapps:发布包中的示例程序
build.xml:编译工程所需的ant配置文件
CHANGES.txt:新版本针对上一版本的更新点
hadoop-ant-1.0.0.jar
hadoop-core-1.0.0.jar
hadoop-examples-1.0.0.jar
hadoop-test-1.0.0.jar
hadoop-tools-1.0.0.jar
以上几个文件根据文件名,大家也能猜到是做什么的,就不多说了
其他还有ivy.xml还有几个readme说明文件就一下带过,有兴趣自己可以去看了解一下
以上就是整个hadoop发布文件的目录结构,项目的分析会随后跟上!
分享到:
相关推荐
根据官网maven结构源码自动生成zip源码包,请放心使用
Hadoop架构分析之集群结构分析,Hadoop架构分析之HDFS架构分析,Hadoop架构分析之NN和DN原生文档解读,Hadoop MapReduce原理之流程图.Hadoop MapReduce原理之核心类Job和ResourceManager解读.Hadoop MapReduce原理之...
06-hbase表结构.avi 07-hbase集群架构及表存储机制.avi 08-hbase-shell.avi 09-hbase的java api.avi 第七天 storm+kafka 006-kafka整合storm.avi 01-storm基本概念.avi 02-storm编程规范及demo编写.avi 03...
026 Eclipse导入Hadoop源码项目 027 HDFS 设计目标 028 HDFS 文件系统架构概述 029 HDFS架构之NameNode和DataNode 030 HDFS 架构讲解总结 031 回顾NameNode和DataNode 032 HDFS架构之Client和SNN功能 033 HDFS Shell...
Hadoop架构分析之集群结构分析,Hadoop架构分析之HDFS架构分析,Hadoop架构分析之NN和DN原生文档解读,Hadoop MapReduce原理之流程图.Hadoop MapReduce原理之核心类Job和ResourceManager解读.Hadoop MapReduce原理之...
MySQL 表结构请参考 /sql/hotel.sql 配置 Hadoop Hadoop 集群规划策略请参考 /hadoop_etc/hadoop集群规划.txt Hadoop 配置文件请参考 /hadoop_etc/etc 修改 src/main/resources/config/hadoop.properties 中的 HDFS ...
本项目为“基于Java的Hadoop分布式文件系统API操作设计源码”,包含51个文件,其中包括37个Java源文件、10个XML配置文件、2个Properties配置文件、1个Gitignore忽略配置文件、1个Markdown文档。该系统利用Java语言...
在继续分析NameNode启动之前,先看看DateNode与NameNode的目录构成与类继承结构,NameNode与DataNode的启动过程与这些目录结构和类继承结构相关,在启动的过程中会检查目录的状态。这里所分析的类的继承结构是与存储...
基于hadoop-yarn的在线离线混部资源管理系统项目源码.zip基于Hadoop-yarn的在离线混部资源管理系统提供对在线任务和离线任务在同一个集群下的混合调度。云计算是互联网时代信息基础设施的重要形态和信息技术发展的...
赠送jar包:hadoop-yarn-server-common-2.6.5.jar; 赠送原API文档:hadoop-yarn-server-common-2.6.5-javadoc.jar;...人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。
项目源码:基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术,实现招聘推荐和可视化展示的应用系统。以下是该系统的...
项目源码:基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术,实现招聘推荐和可视化展示的应用系统。以下是该系统的...
基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计(源码下载) 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术,实现招聘推荐和可视化展示的应用系统。以下是该系统的主要...
6.2.1 Hadoop源码联机Build 6.2.2 Hadoop源码本地Build 6.2.3 NFS服务器构建 6.2.4 Avatar分发与部署 6.2.5 Primary(namenode0)节点配置 6.2.7 Data Node节点配置 6.2.8 Client节点配置 6.2.9 创建目录 6.2.10 ...
Map-Reduce原理体系架构和工作机制,eclipse与Hadoop集群连接