`
tobyqiu
  • 浏览: 39271 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

sqoop 1.4.4 使用3

 
阅读更多

这次使用 压缩,因为压不压相差10倍呢,但是不使用 sequencefile ,因为打算在hive 中使用 RCFIle来存数据,

--compress
--compression-codec 
org.apache.hadoop.io.compress.BZip2Codec

 使用的Bzip

当然hive的表也自动存为Bzip的. 

但是 如果hive 使用RCFile 存储,

create table table_rcfile STORED AS RCFile as
select * from table_bzip;

 会报错 

Failed with exception java.io.IOException:java.io.IOException: not a gzip file

 google了 也没任何有用的信息就找到了一个大哥在0.7的版本里面和我是同一个错误,也没有任何回复,就默认是个bug吧。 改用别的压缩比如LZO。http://mail-archives.apache.org/mod_mbox/hive-user/201103.mbox/%3CAANLkTik=bYuFck=+E1K6yDt1uWD_P2hhUthCaFtRO1Yp@mail.gmail.com%3E

 

 

 

 

 

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics