本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1420402
欢迎加入Hadoop超级群: 180941958
lzo压缩已经广泛用于Hadoop中,至于为什么要在Hadoop中使用Lzo.这里不再重述.其中很重要的一点就是由于分布式计算,所以需要支持对压缩数据进行分片,也就是Hadoop的InputSplit,这样才能分配给多台机器并行处理.所以这里花了一天的时间,看了下Hadoop lzo的源码,了解下Hadoop lzo是如何做到的.
其实一直有种误解,就是以为lzo本身是支持分布式的,也就是支持压缩后的数据可以分片.我们提供给它分片的逻辑,由lzo本身控制.但看了Hadoop lzo源码才发现,lzo只是个压缩和解压缩的工具,如何分片,是由Hadoop lzo(Javad代码里)控制.具体的分片算法写得也很简单,就是在内存中开一块大大的缓存,默认是256K,缓存可以在通过io.compression.codec.lzo.buffersize参数指定.数据读入缓存(实际上要更小一些),如果缓存满了,则交给lzo压缩,获取压缩后的数据,同时在lzo文件中写入压缩前后的大小以及压缩后的数据.所以这里,一个分片,其实就是<=缓存大小.具体lzo文件格式(这里针对Lzop):
1.lzo文件头
1)写入lzo文件标识: 此时长度9
2)写入版本
LZOP_VERSIONlzo版本,short,此时长度11
LZO_VERSION_LIBRARYlzo压缩库版本,short,此时长度13
LZOP_COMPAT_VERSION最后lzo应该一直的版本,short,此时长度15
3)写入压缩策略
LZO1X_1的话writeByte写入1和5,此时长度17
4)writeInt写入flag(标识),此时长度21
5)writeInt写入mode(模式),此时长度25
6)writeInt写入当前时间秒,此时长度29
7)writeInt写入0,不知道做何用途,此时长度33
8)writeBye写入0,不知道做何用途,此时长度34
9)writeInt写入之前数据的checksum,此时长度38
2. 写入多个块,会有多个.循环处理,直到压缩完成
10)写入压缩前的数据长度,此时长度为39
11)如果压缩前的长度小于压缩后的长度,则写入未压缩的数据长度,再写入未压缩的数据.
反之则写入压缩后的数据长度,以及压缩后的数据
3.lzo文件尾,只是写入4个0,不知道做什么用途
同时如果你指定索引文件路径的话,则一个缓存写完后便会将写入的数据长度写到索引文件中.如此在Hadoop分布式时只要根据索引文件的各个长度,读取该长度的数据 ,便可交给map处理.
以上是hadoop lzo大概原理,同时LzopCodec支持在压缩时又生成对应的索引文件.而LzoCodec不支持.具体代码看下来,还不明确LzoCodec为何没法做到,也是一样的切片逻辑.具体待测试.
更多技术文章、感悟、分享、勾搭,请用微信扫描:
相关推荐
1.安装 Hadoop-gpl-compression ...1.2 mv hadoop-gpl-...bin/hadoop jar /usr/local/hadoop-1.0.2/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer /home/hadoop/project_hadoop/aa.html.lzo
cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HADOOP_HOME/share/hadoop/common/ cp /opt/hadoopgpl/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar $HBASE_HOME/lib/ 2.2.6. 拷贝本地库so文件到hadoop tar -cBf - ...
hdfs默认不支持lzo压缩,需要通过将lzo源码融入hadoop源码,重新编译hadoop源码;或者编译lzo源码生成jar,作为插件使用
编译后的hadoop-lzo源码,将hadoop-lzo-0.4.21-SNAPSHOT.jar放到hadoop的classpath下 如${HADOOP_HOME}/share/hadoop/common。hadoop才能正确支持lzo,免去编译的烦恼
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
hadoop-lzo-0.4.21-SNAPSHOT.jar是hadoop数据压缩lzo工具包
Hadoop源码分析(完整版),详细分析了Hadoop源码程序,为学习Hadoop的人提供很好的入门指导
hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包
1. 下载并解压hadoop-lzo-master.zip 2. 需要jdk1.6+(非mac),jdk1.7 3. 安装LZO-2.x库(上步) 4. 编译hadoop-lzo $>C_INCLUDE_PATH=/usr/local/include $>LIBRARY_PATH=/usr/local/lib $>参见下文先搭建maven...
配置hadoop支持LZO和snappy压缩
hadoop-lzo-0.4.15.tar.gz
hadoop用于解析lzo的包,这个问题在使用presto的时候需要将此包添加到presto的工具包中,以支持lzo格式文件的查询。
Hadoop源码分析,Map-Reduce作业提交运行入手分析这个过程中涉及到的Hadoop源码架构,此外本文基于的Hadoop版本是2.6.4
Hadoop源码分析视频下载
Hadoop/etc/hadoop/slaves 的IP地址要变。 5个重要的配置文件逐个检查,IP地址需要变 2.配置文件确认无错误,看日志: 从logs日志中寻找slave的namenode为什么没有起来。 3.最后发现是hdfs中存在上次的数据,删掉...