`
yjhexy
  • 浏览: 327548 次
  • 性别: Icon_minigender_1
  • 来自: 火星
社区版块
存档分类
最新评论

Hadoop读书笔记----(三)压缩与解压缩

阅读更多

 压缩是否支持多文件和分割:


hadoop默认用压缩算法的本地实现

===============================邪恶的分割线=======================

 压缩是否有本地实现:

hadoop的mapReduce算方法需要Splittable的压缩算法支持。

如何选择压缩算法:

举例:大型的日志文件存储

1,不要压缩存储

2,选择zip 或者bzip2能 Splittable 的压缩算法

3,先把分成chunk,再选择任意一种压缩算法压缩

4,使用SequnceFile

 

 

  • 大小: 18.6 KB
  • 大小: 33.3 KB
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics