主要步骤:
1,安装和更新gcc、ant(系统已经安装的话,略去下面步骤)
yum -y install gcc gcc-c++ autoconf automake
wget
http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz
tar -jxvf apache-ant-1.8.2-bin.tar.bz2
export ANT_HOME=/usr/local/apache-ant-1.8.2
vi /etc/profile
source /etc/profile
export PATH=$PATH:$ANT_HOME/bin
2在各个节点安装lzo
wget
http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz
tar -zxvf lzo-2.04.tar.gzcd lzo-2.04
./configure --enable-shared
make && make install
拷贝/usr/local/lib目录下的lzo库文件到/usr/lib(32位平台),或/usr/lib64(64位平台)
3,安装lzo编码/解码器
wget
https://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz
tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz
cd kevinweil-hadoop-lzo-2ad6654
ant compile-native tar
安装编译过程中有错误,请考虑安装下面两个rpm包
wget http://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm
wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm
rpm -ivh lzo-2.04-1.el5.rf.i386.rpm
rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm
(根据系统选择)编译成功后,拷贝kevinweil-hadoop-lzo-2ad6654/bulid/hadoop-lzo-0.4.14.jar到hadoop/lib下
拷贝build/native/Linux-amd64-64/lib下文件到hadoop/lib/native/Linux-amd64-64下
4,修改配置文件,并同步各节点的配置文件
core-site.xml中增加
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,co
m.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
mapred-site.xml中增加
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
5,安装lzop压缩软件,到http://www.lzop.org/的下面download部分下载,可以选择选择Precompiled binaries are available for下载,直接配置可用,或者下载source,./configure make&makeinstall即可这是就可以通过lzop文件名,来生成lzo压缩文件,传到hadoop平台,平台支持文件分割。
分享到:
相关推荐
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
描述中提到的"Mac下编译的hadoop-lzo"意味着这个版本是在Mac操作系统上编译构建的,这确保了在Mac环境下运行Hadoop集群时,可以顺利集成和使用这个压缩库。Hadoop-LZO的源代码编译通常涉及到Java开发环境(JDK)、...
这个JAR文件需要添加到Hadoop的类路径(classpath)中,以便Hadoop集群能够识别并使用LZO压缩格式。 在实际使用Hadoop LZO时,我们需要进行以下步骤: 1. 安装和配置:首先,下载hadoop-lzo-0.4.21-SNAPSHOT.jar,...
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
Hadoop-LZO的性能受到多种因素影响,包括硬件性能、Hadoop集群的配置、数据的特性等。为了优化性能,可以考虑以下策略: 1. 使用多线程进行压缩和解压缩。 2. 调整Hadoop的Block大小以匹配LZO压缩后的数据块大小。 3...
4. `README.txt` 或 `INSTALL.txt` 文件:提供安装和使用指南,包括如何构建、配置和集成Hadoop LZO到现有Hadoop集群的步骤。 5. `CHANGES.txt` 文件:记录了自上一个版本以来的改动和改进,帮助用户了解新版本的...
为了在Hadoop集群中使用LZO,有两种主要的方法: 1. **融入Hadoop源码**:首先,你需要获取Hadoop的源代码,然后将LZO的源代码整合进Hadoop项目。这通常涉及将LZO的Java代码添加到Hadoop的源代码树中,修改相应的...
完成上述步骤后,Hadoop集群就可以使用LZO压缩功能了。在HDFS上存储数据时可以选择LZO压缩,或者在MapReduce作业中对输入数据进行LZO解压,以充分利用其高效性和低延迟特性。同时,为了确保集群中的所有节点都能正确...
【Hadoop集群LZO安装与配置】 在大数据处理领域,Hadoop是一个广泛使用的开源框架,而LZO是一种高效的压缩算法,常用于Hadoop集群中,以减少数据存储和传输的开销。本文将详细介绍如何在运行CentOS 5.5且安装了...
Hadoop 集群内 LZO 的安装与配置 LZO 是一种高效的压缩算法,广泛应用于大数据处理和存储领域。Hadoop 集群中使用 LZO,可以提高数据处理速度和存储效率。本文将详细介绍如何在 Hadoop 集群中安装和配置 LZO。 一...
Hadoop-LZO允许用户在Hadoop集群中使用LZO进行数据压缩,从而提高数据存储和传输效率。Hadoop-LZO项目可能包含了Hadoop与LZO之间的集成代码,使用户能够方便地在Hadoop作业中读写LZO压缩的数据。`hadoop-lzo-master....
而“hadoop-lzo-master.zip”则是Hadoop-LZO项目的源代码,通常包含了项目的所有文件,包括Java源代码、构建脚本和文档,用户可以下载并根据指导进行编译和部署,以在Hadoop集群上启用LZO压缩功能。 在大数据处理中...
3. **lzo安装配置.txt**: LZO是一种高效的压缩算法,常用于Hadoop中的数据压缩。这个文件可能指导如何在Hadoop集群中安装和配置LZO库。这包括安装LZO开发库,编译Hadoop的源代码以支持LZO,创建必要的自定义编解压...
使用Hadoop-LZO时,用户需要将其配置到Hadoop集群中,然后在需要压缩的数据流上应用LZO。这可能涉及到修改Hadoop作业的配置,或者在HDFS中启用默认的块压缩。同时,需要注意的是,使用LZO压缩需要在集群中安装相应的...
"hadoop集群安装脚本"是实现快速、便捷部署Hadoop集群的一种工具,尤其对于初学者或运维人员来说,这种一键式安装脚本极大地简化了复杂的配置过程。 Hadoop集群的核心组件包括HDFS(Hadoop Distributed File System...
综上所述,"hadoop-cdh4.3-lzo安装及问题解决"涉及到的关键知识点包括Hadoop、CDH4.3、LZO压缩算法以及在企业级Hadoop环境中安装和优化LZO的过程。通过了解这些内容,可以有效提升Hadoop集群的数据处理效率,解决...