- 浏览: 128679 次
- 性别:
- 来自: 北京
文章分类
1.准备工作,安装ant,(编译第三步lzo编码解码时使用,现使用hadoop-lzo-package,可忽略)
#创建临时目录,如当前工作路径为/work cd /work mkdir lzo
#ant.apache.org 下载ant cd lzo wget http://archive.apache.org/dist/ant/binaries/apache-ant-1.8.2-bin.tar.gz cd /usr/local tar -zxvf /work/lzo/apache-ant-1.8.2-bin.tar.gz #添加ant 环境变量 echo 'export ANT_HOME=/usr/local/apache-ant-1.8.2' >> /etc/profile echo 'export PATH=$PATH:$ANT_HOME/bin' >> /etc/profile
2.各个节点安装LZO
cd /work/lzo wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz tar -xzvf lzo-2.06.tar.gz cd lzo-2.05 ./configure --enable-shared make make install ll /usr/local/lib/liblzo2.* #如果是64位系统,cp到/usr/lib64下,32则cp到/usr/lib, #也可编辑/etc/ld.so.conf,加入/usr/local/lib/后,执行/sbin/ldconfig cp /usr/local/lib/liblzo2.so* /usr/lib64/
3.安装LZO编码/解码包,hadoop-0.20.203无法使用http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz,可以用https://github.com/kevinweil/hadoop-lzo/tarball/master,附件已上传(kevinweil-hadoop-lzo-6bb1b7f.tar.gz),
注:经测试,该版本也有问题,不能build 64位的native文件!
改用http://code.google.com/p/hadoop-gpl-packing/downloads/list,版本使用0.2.8-1
wget http://hadoop-gpl-packing.googlecode.com/files/hadoop-gpl-packaging-0.2.8-1.x86_64.rpm
cd /work/lzo tar -zxvf kevinweil-hadoop-lzo-6bb1b7f.tar.gz cd kevinweil-hadoop-lzo-6bb1b7f export CFLAGS=-m64 export CXXFLAGS=-m64 #hadoop-core-XXX.jar也要在classpath中 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/hadoop-core-0.20.203.0.jar ant compile-native tar #将本地库以及Jar包拷贝到hadoop对应的目录下,并分发到各节点上 cp build/hadoop-lzo-0.4.15.jar $HADOOP_HOME/lib
ps,安装遇到问题,此文作废,另写
- kevinweil-hadoop-lzo-6bb1b7f.tar.gz (4.5 MB)
- 下载次数: 13
发表评论
-
HDFS架构简介
2012-07-17 15:02 1612转自:http://asyty-cp.blog.163.com ... -
Hadoop Dont's: What not to do to harvest Hadoop's full potential
2012-07-15 15:45 694We've all heard this story. ... -
hadoop-0.20.203启用LZO压缩 安装成功
2012-07-13 18:10 2598#准备各安装包,并scp到各节点 pwd /work/lz ... -
Hadoop TaskScheduler浅析
2012-07-13 14:01 889转自:http://hi.baidu.com/_kouu/bl ... -
Hadoop OutputFormat浅析
2012-07-13 14:00 2167转自:http://hi.baidu.com/_kouu/bl ... -
Hadoop InputFormat浅析
2012-07-13 13:57 886在执行一个Job的时候,Hadoop会将输入数据划分成N个Sp ... -
hadoop面试可能遇到的问题
2012-07-13 13:50 1144Q1. Name the most common Inpu ... -
24 Interview Questions & Answers for Hadoop MapReduce developers
2012-07-12 10:12 732A good understanding of Hadoop ... -
hadoop hbase log backup
2012-06-28 16:43 845hadoop hbase logs目录下日志越来越多,写个简单 ... -
Hadoop Job失败解决
2012-06-27 17:07 3059现象:map 某个task始终实行失败,直到超时,attemp ... -
Hadoop的那些事儿
2012-06-25 14:37 673在说Hadoop之前,作为一个铁杆粉丝先粉一下Googl ... -
Hadoop学习总结:Map-Reduce的过程解析
2012-06-25 10:47 803一、客户端 Map-Re ... -
Hadoop集群上使用Lzo压缩
2012-06-21 14:14 1048自从Hadoop集群搭建以来,我们一直使用的是G ... -
hadoop 相关博客推荐
2012-06-04 10:26 815http://www.cnblogs.com/xuqiang/ ... -
hdfs小文件问题
2012-06-04 10:23 730http://www.cloudera.com/blog/20 ... -
hadoop tuning blog
2012-05-24 14:16 8687 Tips for Improving MapReduce ... -
hadoop作业调优参数整理及原理
2012-05-24 13:58 729转自:http://www.tbdata.org/archiv ... -
Kerberos authentication
2012-05-19 21:46 1383转自:http://www.sunchangming.com/ ... -
关于 hadoop slot的一篇转载
2012-05-17 17:12 872版权声明:转载时请以超链接形式标明文章原始出处和作者 ... -
hadoop 优化的一些点
2012-05-17 16:43 799版权声明:转载时请以超链接形式标明文章原始出处和作者 ...
相关推荐
hadoop支持LZO压缩配置 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/ core-site.xml增加配置支持LZO压缩 <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl...
Windows平台上安装Hadoop-0.20.203.0版本方法
hadoop-0.20.203.0的eclipse插件: hadoop-eclipse-plugin-0.20.203.jar
hadoop-core-0.20.203.0.jar
hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置
ambari-2.7.5 编译过程中四个大包下载很慢,所以需要提前下载,包含:hbase-2.0.2.3.1.4.0-315-bin.tar.gz ,hadoop-3.1.1.3.1.4.0-315.tar.gz , grafana-6.4.2.linux-amd64.tar.gz ,phoenix-5.0.0.3.1.4.0-315....
hadoop-2.7.3.tar.gz 下载 目前相对比较稳定的版本 hadoop tar 包下载hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
hadoop-2.6.0.tar.gz.mds,hadoop的安装包,版本为2.6.0,适应操作系统为Linux。
hadoop-3.2.4.tar.gz
hadoop-eclipse-plugin-0.20.203.0.jar hadoop集成eclipse插件
hadoop-3.2.3.tar.gz 安装包
hadoop-2.7.7.tar.gz+zookeeper-3.4.14.tar.gz.zip,配置hadoop+zookeeper必须,版本已适配。 hbase下载链接:https://download.csdn.net/download/tracelessle/11797862; sqoop + jdk + mysql-connector-java下载...
hadoop-3.3.0.tar.gz
hadoop-2.5.2.tar.gz
hadoop-2.7.4.tar.gz-Hadoop客户端压缩包
hadoop-2.7.1.tar.gz.zip 提示:先解压再使用,最外层是zip文件
sqoop-1.4.7.bin__hadoop-2.6.0.tar 目前能下载到的最新版本 为不喜欢去官网下载的小伙伴提供便利
本实验所用的Hadoop版本是hadoop-2.7.7.tar.gz,下载后,解压按照文章步骤安装即可
编译后的hadoop-lzo源码,将hadoop-lzo-0.4.21-SNAPSHOT.jar放到hadoop的classpath下 如${HADOOP_HOME}/share/hadoop/common。hadoop才能正确支持lzo,免去编译的烦恼