Ubuntu或debain可以使用以下命令进行安装即可。
sudo apt-get install liblzo2-dev lzop
CentOS或RedHat需要从以下地址去下载:
liblzo2-devel-2.06-alt1.i586.rpm
2、下载apache ant
3、 https://github.com/kevinweil/hadoop-lzo
a, git clone https://github.com/kevinweil/hadoop-lzo
b, download *.tar.gz
4、修改 hadoop-lzo的build.xml
搜索javah
加上<classpath refid="classpath"/>
<javah classpath="${build.classes}"
destdir="${build.native}/src/com/hadoop/compression/lzo"
force="yes"
verbose="yes">
<class name="com.hadoop.compression.lzo.LzoCompressor" />
<class name="com.hadoop.compression.lzo.LzoDecompressor" />
<classpath refid="classpath"/>
</javah>
5、编译hadoop-lzo
export CFLAGS=-m32 && export CXXFLAGS=-m32 && ant compile-native tar
6、复制libgplcompression.so
cp build/native/Linux-i386-32/lib/libgplcompression.so $HADOOP_HOME/lib/native/Linux-i386-32/
7、拷贝 build/hadoop-lzo-0.4.15.jar 到 $HADOOP_HOME/lib
cp build/hadoop-lzo-0.4.15.jar $HADOOP_HOME/lib
8、 修改core-site.xml
<property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property>
相关推荐
1.安装 Hadoop-gpl-compression 1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz 1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-...
hadoop支持LZO压缩配置 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/ core-site.xml增加配置支持LZO压缩 <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl...
hadoop-lzo-0.4.21-SNAPSHOT.jar是hadoop数据压缩lzo工具包
3. 安装LZO-2.x库(上步) 4. 编译hadoop-lzo $>C_INCLUDE_PATH=/usr/local/include $>LIBRARY_PATH=/usr/local/lib $>参见下文先搭建maven环境 $>mvn clean test(没有mvn则先走下步安装maven) $>出现lzo...
hadoop配置支持LZO压缩必备,版本号hadoop-lzo-0.4.20-SNAPSHOT.jar,
LZO:实时数据压缩库 hadoop-LZO:hadoop中可切割数据的LZO压缩 资源包含:lzo-2.06.tar.gz, hadoop-lzo-master.zip
hadoop lzo 压缩jar包,本人已经编译好,提供大家下载。
Hadoop IO操作压缩的lzo算法的jar包,中间包含LzoCodec,和LzoPCodec
java用于解压缩lzo文件的jar包
hdfs默认不支持lzo压缩,需要通过将lzo源码融入hadoop源码,重新编译hadoop源码;或者编译lzo源码生成jar,作为插件使用
配置hadoop支持LZO和snappy压缩
HadoopLZO Hadoop-LZO是一个将可拆分LZO压缩引入Hadoop项目。 由于LZO具有速度和压缩大小的优点,因此它是Hadoop理想压缩格式。 但是,LZO文件本身不是可拆分的,这意味着作为Hadoop核心的并行性已不复存在。 该项目...
Lzo压缩、解压缩安装包。包括Lzo,Lzop,hadoop-lzo的安装包。在Linux,AIX亲测可用。
同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104core-site.xml增加配置支持LZO压缩同步core-site.x