安装 LZO 压缩
1、下载LZO并解压
http://www.oberhumer.com/opensource/lzo/download/
2、安装LZO
进入解压后的目录,执行如下命令
#./configure --enable-shared
#make
#sudo make install
lzo文件被默认安装到了/usr/local/lib
3. 设置 LZO 库文件链接
ln -s /usr/local/lib/liblzo2.so.2 /usr/lib/liblzo2.so.2
ln -s /usr/local/lib/liblzo2.so /usr/lib/liblzo2.so
如果是CentOS64位或者默认lib是/usr/lib64的系统,请执行下面命令
ln -s /usr/local/lib/liblzo2.so.2 /usr/lib64/liblzo2.so.2
ln -s /usr/local/lib/liblzo2.so /usr/lib64/liblzo2.so
安装LZO Native 到Hadoop 和 HBase Native
1、下载lzo native源码和编译
http://svn.codespot.com/a/apache-extras.org/hadoop-gpl-compression/trunk/
编译jar执行
#ant
将编译后的执行
#mkdir lzoInstall
#mkdir lzoInstall/lib
#cp build/hadoop-gpl-compression-0.2.0-dev.jar lzoInstall/lib
编译native执行
#ant clean compile-native
# cp -r build/native lzoInstall/
2、执行安装文件
#cd lzoInstall
#vi install.sh
拷贝如下内容进去
#!/bin/sh
HADOOP=$HADOOP_INSTALL
HBASE=$HBASE_HOME
if [ ! $HBASE ] ; then
echo "Plesase Set HBASE Environment variable"
fi
if [ ! $HADOOP ] ; then
echo "Plesase Set Hadoop Environment variable"
fi
#Install Native lib
cp -r ./native/Linux-amd64-64/ $HBASE/lib/native
cp -r ./native/Linux-i386-32/ $HBASE/lib/native
cp -r ./lib/* $HBASE/lib
#Install Native lib
cp -r ./native/Linux-amd64-64/ $HADOOP/lib/native
cp -r ./native/Linux-i386-32/ $HADOOP/lib/native
cp -r ./lib/* $HADOOP/lib
echo "Install Sucessfully"
保存install.sh后执行
#sh install.sh
3、修改Hadoop配置文件 core-site.xml,添加下面属性
<property>
<name>io.compression.codecs</name>
<value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
4、测试安装
启动Hadoop,HBase,进入HBase Shell,创建表
create 'test', {NAME=>'n', COMPRESSION=>'lzo'}
scan 'test'
如果成功这表明 LZO已经安装成功
参考
http://wiki.apache.org/hadoop/UsingLzoCompression
分享到:
相关推荐
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
编译后的hadoop-lzo源码,将hadoop-lzo-0.4.21-SNAPSHOT.jar放到hadoop的classpath下 如${HADOOP_HOME}/share/hadoop/common。hadoop才能正确支持lzo,免去编译的烦恼
hadoop-lzo-0.4.21-SNAPSHOT.jar是hadoop数据压缩lzo工具包
hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包
Hadoop hbase hive sqoop集群环境安装配置及使用文档
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
配置hadoop支持LZO和snappy压缩
1.安装 Hadoop-gpl-compression 1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz 1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-...
hadoop-lzo-0.4.15.tar.gz
hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记
1. 下载并解压hadoop-lzo-master.zip 2. 需要jdk1.6+(非mac),jdk1.7 3. 安装LZO-2.x库(上步) 4. 编译hadoop-lzo $>C_INCLUDE_PATH=/usr/local/include $>LIBRARY_PATH=/usr/local/lib $>参见下文先搭建maven...