博客首页 → sequencefile

最新文章列表

drill1.0配置hive storage plugin及测试

drill1.0配置hive storage plugin及测试 drill,hive 截止到目前本博客发布前，apache drill最新发布版本是1.0.0，对与此版本的数据源支持和文件格式的支持： avro parquet
drillhivesnappysequencefile
duguyiren3476 评论(0) 有3109人浏览 2015-08-06 10:18

读写sequenceFile

public class WriteReadSequenceFileTest { /** * @param args */ public static void main(String[] args) { Configuration conf=new Configuration(); conf.set("fs.default.name", "hdf ...
sequenceFile 
bigsea 评论(0) 有844人浏览 2013-03-14 11:33

hadoop小文件操作之SequenceFile

存储文件： import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.net.URI;   import org.apache.hadoop.conf.Configur ...
hadoopSequenceFilehadoop 小文件 
lxm63972012 评论(0) 有4595人浏览 2012-02-29 12:36

基于HIVE文件格式的map reduce代码编写

by hugh.wangp   我们的数据绝大多数都是在HIVE上，对HIVE的SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hive client的方式就比较单一，直 ...
hivesequencefilercfilewordcountmapreduce 
hugh.wangp 评论(0) 有12758人浏览 2012-02-14 19:03

HIVE文件存储格式的测试比较

by hugh.wangp   根据自身涉及到的数据分布和使用需求，对HIVE上的三类文件格式做了如下测试，指导HIVE的文件格式选型。测试存在环境、数据分布、测试偏重点的不同，本测试只供参考，不作为大家选型决策的绝对指导。 HIVE的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE ...
hive文件格式rcfilesequencefile 
hugh.wangp 评论(1) 有3638人浏览 2012-02-13 17:26

hadoop SequenceFile 详解

hadoop SequenceFile 详解 SequenceFile 是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output 的format时被使用。在map/reduce过程中，map处理文件的临时输出就是使用SequenceFile处理过的。 SequenceFile分别提供了读、写、排序的操作类。 Sequenc ...
sequencefilekeyhadoopvalueformat 
黎明lm 评论(0) 有3303人浏览 2012-01-05 15:19

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics