0.首先下载hadoop-2.5.2源码包
下载地址:http://hadoop.apache.org/releases.html
2.解压
tar zxvf hadoop-2.5.2-src.tar.gz
3.解压完之后,我们开始准备编译所需要的软件
安装apache-maven
3.1.在安装hadoop-2.5.2时,wget命令不一定能够使用,需要安装wget工具才行。
如果配置的yum源,我们可以这样安装wget工具。如下:
配置yum源:http://mirrors.163.com/.help/centos.html
安装wget工具:yum -y install wget
3.2.安装maven(建议手动下载安装,如果网络不好,使用如下方式很容易失败。)
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
yum -y install apache-maven
3.3.tzdata-java-2015g-2.el6.noarch.rpm 源不能使用,安装失败。
http://mirrors.ustc.edu.cn/centos/6/updates/i386/Packages/tzdata-java-2015g-2.el6.noarch.rpm: [Errno -1] Package does not match intended download. Suggestion: run yum --enablerepo=updates clean metadata
解决方法:使用http://mirrors.ustc.edu.cn/centos/6/updates/i386/Packages/tzdata-java-2015g-2.el6.noarch.rpm 可以手动下载tzdata-java-2015g-2.el6.noarch.rpm,然后使用命令安装。
这时候再次执行yum -y install apache-maven命令
4.安装ProtocolBuffer
下载地址:http://vdisk.weibo.com/s/BICjq6gk87iV5
下载完后手动安装
5.使用yum命令安装的软件,默认是安装在那个目录下面的
eg:查找apache-maven的安装目录,可以使用find / -name apache-maven* -type d
6.linux中查找文件夹
find / -name apache-maven* -type d (查找目录:find /(查找范围) -name '查找关键字' -type d。)
7.如何查看linux命令的用法
8.在进行编译之前,先修改maven安装目录下conf/settings.xml(因为maven使用的reposity,国内有时无法访问,修改为可用的镜像即可),<mirrors></mirros>里添加,其他的不需改动,具体修改如下:
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexusosc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
9.linux下配置域名
/etc/hosts
10.使用virtualBox时,复制的虚拟机的主机名都一样,修改主机名
/etc/sysconfig/network
11.hadoop-aboutyun-linux64-2.5.2.tar.gz 下载地址
链接:http://pan.baidu.com/s/1bnH94xp 密码:3fp5
12.启动zookeeper后,才能格式化ZKFC,否则会报错。
13.注册About云时 看不到验证码图片,可以查看网页源码来看
14.Unable to load native-hadoop library for your platform... using builtin-java classes where applicable,如下图:
Hadoop本地库与系统版本不一致引起的错误解决方法
参考:http://www.linuxidc.com/Linux/2012-04/59200.htm
wget http://ftp.gnu.org/gnu/glibc/glibc-2.19.tar.bz2
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2
解压
$tar -jxvf glibc-2.19.tar.bz2
$cd glibc-2.19
$tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
$cd ..
$export CFLAGS="-g -O2"
$./glibc-2.19/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
$make
#make install
注意:虽然提示使用GLIBC_2.14,但是安装可能会报错。建议使用GLIBC_2.19
15.wget下载的东西在哪个目录呢?在当前目录下面
17 ./configure,make,make install的作用?
最终编译失败,长城的网络不给力。如果网络给力,很容易编译成功。。。。
如果网络不好的童鞋可以下载别人已经编译好的64位的hadoop安装包:hadoop-aboutyun-linux64-2.5.2.tar.gz
maven库:http://maven.net.cn/content/groups/public/
http://cwiki.apache.org
参考:http://www.iteblog.com/archives/897
参考:http://www.csdn123.com/html/topnews201408/84/1984.htm
Maven settings配置中的mirrorOf:http://blog.csdn.net/isea533/article/details/21560089
桥接:http://wenku.baidu.com/link?url=eBCnoOeSJaM6-LLXZofAFL0odFLNgWRxNkGBi8X70xe422kgC2cKESnccnbEss3Ph4UAYP20yxwpl_tLZXwLIG19RqOXZuqJUszGFxafZZu
相关推荐
Centos6.8 32位 64位下编译 hadoop 2.6.4 源码
CentOS6.5下编译hadoop 2.8.1的源码,所得编译结果,用来替换lib库中的native文件夹,自己编译出来的,不是假资源
Hadoop2.7.2 centos7 64位编译后的库文件
我编译用到的包(protobuf-2.5.0.tar.gz,findbugs-3.0.1.tar.gz,apache-ant-1.9.13-bin.tar.gz,snappy-1.1.1.tar.gz)和编译的过程详解(遇到的错误)都在压缩包中(hadoop源码请到官网下载)。 背景Hadoop官网...
在centos7 下面自己编译,安装部署Hadoop集群环境。包括需要插件等等
2.6.0源码编译生成的lib包目录。替换官网下载的资源里的lib目录即可
本人将官网32位Hadoop源码编译成64位,解压后的Hadoop2.7.5.tar.gz在Centos6.5 64位系统上安装使用,亲测有效
linux 系统为centos6.5 hadoop版本:2.5.0 cdh3.5.6环境下使用
由于官网上提供的Hadoop源码是32位的,而目前大多系统为64位,所以需要编译对应版本的64位Hadoop,本人自己编译,亲测有效
hadoop 3 源代码编译环境,centos7 docker
Centos7下Hadoop3.x源码编译(Zstd问题已解决)-附件资源
64位centos7编译hadoop3.2.2
提供源码编译后的hadoop 2.7.7的包,系统版本内核是Linux 3.10.0-957.el7.centos.plus.i686
自己在hadoop官网下载的hadoop源码,然后再Centos7.4上面编译通过的,自己的集群就是用的这个版本配置的
hadoop2.4.1从官方下载下来的二本地包是32位系统的,64位下需要自己下载源码编译。整个过程有点麻烦而且时间有点长。该文件是本人在centos7_64位下编译好的包。有需要的朋友自己下载。
hadoop-2.7.4版本源码包,经过在Centos6.5系统环境编译打包,适合64位Linux系统软件安装包,是我亲自编译的,花了不少时间,亲测有效,成功在Linux系统构建了Hadoop集群
2.编译耗时近一周,依赖356+,大文件可以手动下载下来,修改pom,其他大部分依赖都需要翻墙,速度奇慢。。。自编译的话要想办法提高网速。。。磨刀不误砍柴工。。 3. 编译过程中手动下载大文件1G,其他小jar包依赖1G...