一、环境说明
虚拟软件:VMware Workstation 10
虚拟机配置:
RHEL Server release 6.5 (Santiago) 2.6.32-431.el6.x86_64
cpu:4核心,内存:4G,硬盘:50G
二、前提条件:
1:将rhel6.5的iso文件作为yum源
2:hadoop-2.2.0-src.tar.gz
3:安装JDK 1.6.0_43
4:安装并配置apache-maven 3.0.5(apache-maven-3.0.5-bin.tar.gz)
源码中BUILDING.txt中要求使用3.0,从hadoop2.0版本以后使用maven编译,之前用Ant)
解压并配置环境变量
mvn -version
5:安装并配置apache-ant-1.9.3-bin.zip(下载二进制版本的,这个需要编译安装findbugs)
解压并配置环境变量
ant -version
6:下载并安装cmake cmake-2.8.12.1,安装命令如下:
tar -zxvf cmake-2.8.12.1.tar.gz
cd cmake-2.8.12.1
./bootstrap
make
make install
检查安装是否正确
cmake --version(如果能正确显示版本号,则说明安装正确)
7:下载并安装配置findbugs-2.0.2-source.zip
http://sourceforge.jp/projects/sfnet_findbugs/releases/
使用ant编译安装。如果不编译安装则编译的时候会报
hadoop-common-project/hadoop-common/${env.FINDBUGS_HOME}/src/xsl/default.xsl doesn’t exist. -> [Help 1]
进入到解压后的目录,直接运行ant命令
如果不安装,则在编译时会报如下错误:
Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (site) on project hadoop-common: An Ant BuildException has occured
8:安装zlib-devel
默认情况下,系统没有安装zlib-devel
yum install zlib-devel
如果不安装,则在编译时会报如下错误:
Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-common
9: protobuf-2.5.0
yum install gcc-c++ (如果不安装,则cmake configure失败)
./configure
make
make check
make install
检查安装是否正确
protoc --version((如果能正确显示版本号,则说明安装正确)
三、hadoop2.2源码编译
1:进入hadoop2.2.0解压后的源码目录
2:执行mvn命令编译,此过程需要连接网络,编译的速度取决于你的网速
mvn clean package -Pdist,native -DskipTests -Dtar
2.1.Create binary distribution without native code and without documentation:
$ mvn package -Pdist -DskipTests -Dtar
2.2.Create binary distribution with native code and with documentation:
$ mvn package -Pdist,native,docs -DskipTests -Dtar
2.3.Create source distribution:
$ mvn package -Psrc -DskipTests
2.4.Create source and binary distributions with native code and documentation:
$ mvn package -Pdist,native,docs,src -DskipTests -Dtar
2.5.Create a local staging version of the website (in /tmp/hadoop-site)
$ mvn clean site; mvn site:stage -DstagingDirectory=/tmp/hadoop-site
3:编译后的项目发布版本在hadoop-2.2.0-src/hadoop-dist/target/目录下
hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/
四、安装hadoop 单点伪分布式模式
1:配置ssh互信
ssh-keygen -t dsa (或行ssh-keygen -t rsa -P "" 加上-P ""参数只需要一次回车就可以执行完毕。不加需要三次回车)
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
如果仍然需要输入密码,则执行如下命令
chmod 600 ~/.ssh/authorized_keys
2:将编译后的hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0复制到/data/hadoop/目录下
3:建议软链接 ln -s hadoop-2.2.0 hadoop2
4: 在用户的.bash_profile增加如下变量
export HADOOP_HOME=/data/hadoop/hadoop2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
5:建议data.dir及namenode.dir目录
mkdir hdfs
mkdir namenode
chmod -R 755 hdfs
6:修改hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_43
export HADOOP_HOME=/data/hadoop/hadoop2
7:修改core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,内容见附录2
8:格式化HDFS文件系统
执行命令 hadoop namenode -format
9:启动hdfs,yarn
start-dfs.sh
start-yarn.sh
10:验证启动是否成功
jps
如果显示如下6个进程,则启动成功
53244 ResourceManager
53083 SecondaryNameNode
52928 DataNode
53640 Jps
52810 NameNode
53348 NodeManager
五、运行自带的wordcount例子
hadoop fs -mkdir /tmp
hadoop fs -mkdir /tmp/input
hadoop fs -put /usr/hadoop/test.txt /tmp/input
cd /data/hadoop/hadoop2/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount /tmp/input /tmp/output
如果能正确运行,则hadoop安装配置正确
六、附录1:
设置的环境变量(/etc/profile,编辑后运行source /etc/profile/ 使配置生效)
#java set
export JAVA_HOME=/usr/java/jdk1.6.0_43
export JRE_HOME=/usr/java/jdk1.6.0_43/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
#maven set
export M2_HOME=/home/soft/maven
export PATH=$PATH:$M2_HOME/bin
#ant
export ANT_HOME=/home/soft/apache-ant-1.9.3
export PATH=$PATH:$ANT_HOME/bin
#findbugs
export FINDBUGS_HOME=/home/soft/findbugs-2.0.2
export PATH=$PATH:$FINDBUGS_HOME/bin
附录2:core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml的文件内容
core-site.xml内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://vdata.kt:8020</value>
</property>
</configuration>
hdfs-site.xml内容:
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/data/hadoop/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/hdfs</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml内容:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
相关推荐
Hadoop 2.2.0版本中在64为linux系统上运行所需要的native库文件。需要时用此native文件夹覆盖Hadoop 2.2.0中native文件夹即可。
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
自己配了一遍hadoop2.2.0,写给新手,绝对详细,后面还有一个配好了的测试文档,在我的资源里找
hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler
本文档主要详细介绍了Hadoop 2.2.0版本的编译安装过程。
hadoop-2.2.0-源 Hadoop 2.2.0源代码(用于Eclipse IDE的Java项目)。
Hadoop官网上下载的hadoop-2.2.0安装包是32位的,直接运行在64位的linux系统上会有问题,所以需要自己将hadoop-2.2.0安装包编译为64位。
Hadoop2.2.0安装配置手册,新手安装和配置
hadoop官网上面下载的Hadoop2.2.0 是32位的,现在将我自己重新编译的64bit发上来,这个是百度网盘分享的下载地址http://pan.baidu.com/s/1jG5KOCm,由于限制上传文件大小,所以只好如此了。
hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。
Hadoop源代码eclipse编译指南 Hadoop源代码eclipse编译指南
Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
此hadoop是hadoop-2.2.0是32位的编译出来的,亲测可用
在CentSO_64bit集群搭建,hadoop2.2(64位)编译 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本。 注1:官网只提供32位release版本, 若机器为64位,需要手动编译。 环境配置是个挺烦人的活,麻烦不说还...
Hadoop源代码eclipse编译教程
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
hadoop Eclipse插件Linux版本,编译环境hadoop2.2.0
hadoop2.2.0安装指南