`

hadoop读取文件内容

阅读更多
/**
     * @see 读取dst文件内容
     * @param dst
     * @return
     * @throws Exception
     */
    public static byte[] readHDFSFile(String dst) throws Exception
    {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        
        // check if the file exists
        Path path = new Path(dst);
        if ( fs.exists(path) )
        {
            FSDataInputStream is = fs.open(path);
            // get the file info to create the buffer
            FileStatus stat = fs.getFileStatus(path);
            
            // create the buffer
            byte[] buffer = new byte[Integer.parseInt(String.valueOf(stat.getLen()))];
            is.readFully(0, buffer);
            
            is.close();
            fs.close();
            
            return buffer;
        }
        else
        {
            throw new Exception("the file is not found .");
        }
    }
分享到:
评论

相关推荐

    hadoop 读写文件流程详解

    在hadoop中,有三大法宝——HDFS,MapReduce,Hbase,但是无论是MapReduce,Hbase还是hadoop中的其他组件如:Hive等他们要处理的...可见HDFS可以说是hadoop存储的基础和核心,因此对HDFS的文件读写操作显得十分重要。

    hadoop2 文件读写原理

    这个文档讲述了hadoop2的文件读写原理,不过是英文的,英文不好的同学下载的时候,要谨慎了

    Hadoop分布式文件系统的文件读写

    在Hadoop的分布式文件系统下,对文件的读写和列出文件的相关属性和目录中的内容

    02_Hadoop 分布式文件系统(HDFS).docx

    ■ HDFS 提供什么功能 ■ HDFS 如何读取和写入文件 ■ NameNode 如何使用内存 ■ Hadoop 如何提供文件安全性 ■ 如何使用NameNode Web UI ■ 如何使用Hadoop 文件Shell

    Hadoop分布式文件系统

    引言 Hadoop分布式文件系统(HDFS)被设计成...HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

    高可用性的HDFS:Hadoop分布式文件系统深度实践

    4.5.6 NameNode宕机读写测试 第5章 AvatarNode运行机制 5.1 方案说明 5.1.1 系统架构 5.1.2 思路分析 5.1.3 性能数据 5.2 元数据分析 5.2.1 类FSNamesystem 5.2.2 类FSDirectory 5.2.3 AvatarNode的磁盘元数据文件 ...

    hadoop Java接口 文件操作类

    基于hadoop Java接口 文件操作类,对hadoop服务进行增删改查等系列操作,非常实用

    hadoop/bin目录文件,含hadoop.dll + winutils.exe

    用于win7开发、调试下读取HDFS文件(包括hive读取),hadoop2.6.3

    eclipse+maven+hadoop+文件增删改查

    eclipse+maven+hadoop+文件增删改查,非常实用的例子,供各位学习。

    java通过api方式操作Hadoop

    2.在hadoop中新建文件,并写入 3.删除hadoop上的文件 4.读取文件 5.文件修改时间 二.目录操作 1.在hadoop上创建目录 2.删除目录 3.读取某个目录下的所有文件 三.hdfs信息 1.查找某个文件在HDFS集群中位置 2.获取HDFS...

    一种Hadoop小文件存储和读取的方法.

    然而,HDFS 设计的初衷是存储超大文件,对于海量小文件,由于 NameNode 内存开销等问题,其存储和读取性能并不理想。提出一种基于小文件合并的方法 HIFM( Hierarchy Index File Merging) ,综合考虑小文件之间的...

    一步一步跟我学习hadoop(6)----hadoop利用FileSystem API 执行hadoop文件读写操作

    hadoop filesystem api常见使用说明

    java 从hadoop hdfs读取文件 进行groupby并显示为条形图

    从hadoop hdfs中读取数据,进行groupby 显示统计结果count、avg、max,用文字和柱状图两种图形界面表示

    hadoop的经典讲义

    必须通过hadoop fs 命令来读取。支持分布式。 MapReduce : 大型分布式数据处理模型,是Google MapReduce的开源实现。 •合并/计算模型。 其他相关组成: •Hbase:结构化分部式数据库。BigTable的开源实现。 •...

    01.分布式文件系统HDFS.pptx

    Hadoop分布式文件系统(HDFS)被设计成适合...HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

    Hadoop大数据平台构建、HDFS配置、启动与验证教学课件.pptx

    # chmod 777 /opt --修改 /opt 文件夹的权限,使得 hadoop用户可读写 主节点使用 hadoop 用户登录 [root@master ~]# su – hadoop --从root用户切换为hadoop身份 通过 SecureCRT 软件上传 Hadoop安装文件到 /opt ...

    Hadoop从入门到上手企业开发

    039 HDFS文件系统读写流程及HDFS API两种方式读取文件 040 详解HDFS API之FileSystem方式基本操作二 041 讲解分析Configuration和FileSystem类源代码 042 引出HDFS实际应用场景之合并文件和使用getmerge命令并查看...

    基于 Hadoop 的海量小文件处理技术研究

    基于 Hadoop 的海量小文件处理技术研究 ,主要工作包括两个方面: 1) 基于多层索引的小文件读写策略的研究与实现。本文根据 Hadoop 平台现 有小文件处理的思想,对海量小文件进行合并然后建立索引。其中索引结构的设...

    Java 读取Hadoop文件系统文件

    放一个hello的文件到Hadoop 文件系统 根目录:  [root@hadoop local]# touch hello  [root@hadoop local]# vi hello  [root@hadoop local]# hadoop fs -put hello /  代码:   package hadoop....

    Hadoop权威指南 第二版(中文版)

    内容简介  本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共16章,3个附录,涉及的主题包括:Haddoop简介;MapReduce简介;Hadoop分布式文件...

Global site tag (gtag.js) - Google Analytics