这个东西,看来很复杂,网上一搜很多资料。
总的来说就是
一,需要编译hadoop lzo部分的代码,然后添加到hadoop lib里面。
二,然后在core-site.xml、mapred-site.xml、hadoop-env.sh里面加几个参数,
三,重启集群就ok了。
虽然看上去就三步,不过编译hadoop lzo部分的代码还是有点小麻烦的。
现在主要记录下这块把。
说明:
a,yum install lzo-devel.x86_64
b。部署编译好的库文件
c,修改配置文件
这三个是要在每个节点上执行的。
其他的都是为了编译做准备,只需要在一台机器上执行就行了。
具体过程如下:
主要分为以下几步:
1,下载lzo库和相关工具
下载之前,配置好yum是必须的,嘿嘿。
然后执行
yum install lzo-devel.x86_64 lzop.x86_64 gcc --nogpgcheck
当然,有可能会有各种yum相关的问题,可以yum clean all一下试试。
哦,对了,这里机器是64位的,32位的可能有不同。
2,下载hadoop lzo功能代码
因为hadoop官方包没有这部分代码,需要下载,地址如下:
https://github.com/kevinweil/hadoop-lzo,左上角有个zip下载就是,kevinweil-hadoop-lzo-6bb1b7f.zip这个就是下载下来的东西。
另外就是下载ant工具,用这个版本:apache-ant-1.8.3
3,编译代码
将zip解压后,cd到该目录下,然后执行以下命令:
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-sun-1.6.0.18.x86_64
export CFLAGS=-m64
export CXXFLAGS=-m64
ant compile-native tar
注意几点:a,这里是64位的机器设置方法,32位的可能会有不同。
b,JAVA_HOME一定要正确,不能是软连接或者硬连接,一定要是目录。
c,ant版本要用 apache的1.8.3。(之前yum安装了一个,不行)
4,部署编译好的库
编译好后,会在build文件夹下生成些新东西,
把build 下的hadoop-lzo-0.4.15.jar复制到$HADOOP_HOME/lib下,
把build/native/Linux-amd64-64/lib 下的所有内容,复制到$HADOOP_HOME/lib/native/Linux-amd64-64/下
5,修改配置文件
a,在hadoop-env.sh中添加:
export HADOOP_CLASSPATH="${HADOOP_PREFIX}/lib/hadoop-lzo-0.4.14.jar:${HADOOP_CLASSPATH}"
b,在core-site.xml中添加:
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
c,在mapred-site.xml中添加:
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
<property>
<name>mapred.child.env</name>
<value>JAVA_LIBRARY_PATH=/home/hadoop/hadoop-0.20.2-cdh3u3/lib/native/Linux-amd64-64</value>
</property>
然后就ok啦。
分享到:
相关推荐
hadoop支持LZO压缩配置 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/ core-site.xml增加配置支持LZO压缩 <name>io.compression.codecs org.apache.hadoop.io....
配置hadoop支持LZO和snappy压缩
hadoop配置支持LZO压缩必备,版本号hadoop-lzo-0.4.20-SNAPSHOT.jar,
配置Hadoop支持LZO使用,配套hadoop的版本为Hadoop-2.7.2,已经在CentOS6.6 64位下面编译完成
hadoop集群内lzo的安装与配置 搞hadoop的朋友好好看看
hadoop集群内lzo的安装与配置.doc
声明两个临时环境变量编译进入hadoop-lzo-master,执行maven编译命令进入target,hadoop-lzo-0.4.21-SNAPSHOT.j
读者可以通过学习本论文,掌握Hadoop的基本概念、工作原理和核心组件,了解其在实际场景中的应用,并能够根据需求进行相应的配置和优化。 其他说明: 本论文采用了系统化的研究方法,包括文献综述、理论分析和实证...
集成LZO,hadoop-gpl-packaging-0.6.1-1 4.界面化一键安装部署管理hadoop集群。 5.支持64位 linux 操作系统. 特别是 redhat centos 5 6 6.五种秒级监控图表,实时查看节点服务器内存,硬盘,CPU,MR状态,负载状态...
背景和基本原理1 跳跃中的Hadoop1.1 什么是Hadoop 1.1.1 Hadoop 的核心组件1.1.2 Hadoop 生态圈1.1.3 物理架构1.1.4 谁在使用...1.2.1 下载并安装Hadoop1.2.2 Hadoop 的配置1.2.3 CLI 基本命令...
同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104core-site.xml增加配置支持LZO压缩同步core-site.x
详细描述CDH集群部署 1规划服务器 2 2安装和配置Mysql数据库 4 3离线安装Cloudera Manager...5.1 hadoop_lzo安装 22 5.2 配置MapReduce: 23 5.3相关服务重启 25 6.安装Storm 25 7.附录. 25 7.1 CDH安装部署问题记录 25
1 介绍 大数据时代,海量数据的存储和分析是一个巨大的挑战...主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO,具体的对比,可参考这篇文章:http://www.cnblogs.com/zhengrunjian/p/4527165.html Sna
从下载最新的LZO版本配置LZO以构建共享库(必需),并使用特定于程序包的前缀(可选,但建议使用):./configure --enable- shared --prefix /usr/local/lzo-2.06构建并安装LZO:make && sudo make install ...
LZO C.4. GZIP C.5. SNAPPY C.6. Changing Compression Schemes D. YCSB: The Yahoo! Cloud Serving Benchmark and HBase E. HFile format version 2 E.1. Motivation E.2. HFile format version 1 overview E.3. ...
工程只实现了lzo的压缩逻辑,需要前置条件:部署lzo环境 更多参考 工程不够强大,目前利用 hadoop api 按目录级压缩,已测试 。还少其他压缩策略的实现及测试,或其他方式 MR 、streaming 等,欢迎提交 pull ...
20_数仓采集_项目经验之支持LZO压缩配置.avi j3 Q& D8 m* G9 R Q$ G 21_数仓采集_项目经验之基准测试.avi 22_数仓采集_项目经验之HDFS参数调优.avi; F" t) F) H7 W' {& L% n3 H ~7 s 23_数仓采集_Zookeeper安装.avi6...