系统要求
* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel ( if compiling native hadoop-pipes and to get the best HDFS encryption performance )
* Linux FUSE (Filesystem in Userspace) version 2.6 or above ( if compiling fuse_dfs )
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
我是在root下操作的 如果您是其他用户 请在适当时间配置好sudo并使用sudo命令
安装jdk
就是解压缩然后配下path路径,网上有很多相关文章,但是最好卸载掉其他的jdk,
只留下oracle的jdk
tar -zxvf jdk-7u71-linux-x64.tar.gz
配置环境变量:vi /etc/profile
export JAVA_HOME= 你的安装路径
export PATH=.:$PATH:$JAVA_HOME/bin
安装maven
同样解压缩配置 /etc/profile
export MAVEN_HOME=你的安装路径
export PATH=.:$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
同样,输入命令使配置文件生效
source /etc/profile
检测是否安装成功:mvn -version
安装protobuf
protobuf请提前下载
安装前请安装
yum install gcc
yum install gcc-c++
yum install make
安装protobuf,解压缩
tar -zxvf protobuf-2.5.0.tar.gz
然后进入到安装目录中,以此输入一下命令:
cd protobuf-2.5.0
./configure
make(这一步时间比较长)
make install
安装CMake
CMake 需要2.6以上的版本需要联网
yum install cmake
yum install openssl-devel
yum install ncurses-devel
补充一点在编译请把maven仓库配置成阿里云的
在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror
<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror>
安装ant
tar -zxvf apache-ant-1.9.7-bin.tar.gz
配置环境变量
vi /etc/profile
export ANT_HOME=你的路径
export PATH=.:$PATH:$ANT_HOME/bin
生效以及测试
source /etc/profile
ant -version
编译hadoop
解压hadoop源码包
tar -zxvf hadoop-2.5.2-src.tar.gz
进入文件夹里面,里面有一个文件BUILDINT.txt
在BUILDING.txt这层目录里,输入命令
mvn package -Pdist,native -DskipTests -Dtar
或者mvn package -DeskipTests -Pdist,native
编译
完成后会有提示
编译出的jar在
[exec] Hadoop dist tar available at: /export/software/hadoop-2.7.4-src/hadoop-dist/target/hadoop-2.7.4.tar.gz
ok了祝你愉快,如有不明欢迎留言
相关推荐
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本 可以直接使用
hadoop 2.7 2.X 64位编译版本 亲测可用 hadoop-2.7.5-64x.tar.gz
hadoop2.7汇总:新增功能最新编译64位安装、源码包、API、eclipse插件下载
本人用7个多小时成功编译 hadoop 2.7.1 64位编译包(JDK1.8 64),由于文件太大,分3卷压缩。 hadoop 2.7.1 相对于2.7.0修复了上百个Bug,是可用于生产环境的版本了。
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable hadoop 启动时警告问题解决
解决hadoop版本不同而引起的org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
eclipse的hadoop2.73插件,可以实现eclipse的hadoop以及spark集成开发环境。
经过艰难的历史步骤,终于编译好了自己的windows版hadoop,原本自己编译的是hadoop2.8,但是由于csdn上传文件大小限制,只能重新编译hadoop2.7上传,供大家下载使用
在Windows下面使用Hadoop Java API进行开发的时候需要编译Windows版本的Hadoop,然后把下载的Hadoop/bin目录替换掉。这个资源是Windows10 64位系统下编译的hadoop 2.7.3的bin目录。下载后即可替换使用。
hadoop版本2.7.7 Eclipse 版本4.5.1,dfs location插件,自己编译成功,使用有效,将该jar包放到eclipse的plugins目录下
hadoop 源码及编译好的tar包;所有hadoop稳定版本都有!
ambari源码编译。部分网络资源被墙,下载文件后上传服务器,更改pom文件网络地址为上传后的本地文件地址,即可编译通过
Windows10 环境下编译的Hadoop2.7.2 Windows10 环境下编译的Hadoop2.7.2 Windows10 环境下编译的Hadoop2.7.2
支持hadoop2.7.2 scala 2.12,编译完成的二进制包flink安装包,亲测可用,注意压缩包是250M,这才是正确的。其他100多M都不对。由于超过220M,所以提供百度云盘链接的形式。
树莓派3上编译的hadoop2.7.2,因为树莓派是arm cpu,并且raspbian还是32位的操作系统,官方下载的hadoop在树莓派上直接运行会有问题,所以特别在树莓派3 raspbian操作系统上使用jdk1.8进行了编译,供爱折腾的人使用...
树莓派3上编译的hadoop2.7.2,因为树莓派是arm cpu,并且raspbian还是32位的操作系统,官方下载的hadoop在树莓派上直接运行会有问题,所以特别在树莓派3 raspbian操作系统上使用jdk1.8进行了编译,供爱折腾的人使用...
该资源内含有百度云网盘的链接及提取码,下载后请到百度云下载编译包
Hadoop-2.7.3 arm平台麒麟操作系统部署,已编译支持snappy lz4压缩 Hadoop国产化部署 Linux version 4.19.90-vhulk2001.1.0.0026.ns7.15.aarch64 (root@mockbuild) (gcc version 4.8.5 20150623 (NeoKylin 4.8.5-36)...
hadoop2.7.6在win10下,使用vs2017编译的本地库,包括hdfs.dll,hadoop.dll,winutils.exe等文件。
基于2x最新版本hadoop2.7.7版本编译。解决createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor以及...2020-03-03新增2.7.7,hadoop2.7最后一个版本测试,win10X64。 2.7.7以及以下版本均可使用!