一 HDFS命令行操作演示
[root@localhost ~]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop
[root@localhost ~]# hadoop fs -ls /hadoop
Warning: $HADOOP_HOME is deprecated.
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:40 /hadoop/mapred
[root@localhost ~]# hadoop fs -mkdir input
Warning: $HADOOP_HOME is deprecated.
[root@localhost ~]# hadoop fs -ls
Warning: $HADOOP_HOME is deprecated.
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 12:40 /user/root/input
[root@localhost ~]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.
Found 2 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop
drwxr-xr-x - root supergroup 0 2017-08-20 12:40 /user
[root@localhost ~]# hadoop fs -put a.av input/
[root@localhost ~]# hadoop fs -ls /user/root/input
Warning: $HADOOP_HOME is deprecated.
Found 1 items
-rw-r--r-- 3 root supergroup 0 2017-08-20 12:44 /user/root/input/a.av
[root@localhost ~]# hadoop fs -cat input/a.av
Warning: $HADOOP_HOME is deprecated.
[root@localhost ~]# hadoop fs -get input/a.av aa.av
Warning: $HADOOP_HOME is deprecated.
[root@localhost ~]# ls
123 cangls fping-4.0 monitor_man shell16.sh system_man.sh
aa.av canyls fping-4.0.tar.gz monitor_man.sh shell5.sh Templates
a.av ChangeLog-2.6.0 hping-master Music student.txt test
[root@localhost ~]# hadoop dfsadmin -report
Warning: $HADOOP_HOME is deprecated.
Configured Capacity: 21464350720 (19.99 GB)
Present Capacity: 21046108160 (19.6 GB)
DFS Remaining: 21046083584 (19.6 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0%
Under replicated blocks: 1
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 21464350720 (19.99 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 418242560 (398.87 MB)
DFS Remaining: 21046083584(19.6 GB)
DFS Used%: 0%
DFS Remaining%: 98.05%
Last contact: Sun Aug 20 12:56:33 CST 2017
相关推荐
优秀PPT课件:Hadoop:Google云计算的开源实现(Hadoop安装 HDFS使用 MapReduce编程 数据表HBase 分布式数据处理MapReduce ).ppt
hdfs
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非另有约定,本文档仅作
HDFS应用场景、部署、原理与基本架构
windows平台下的HDFS文件浏览器,就像windows管理器一样管理你的hdfs文件系统。现在官网已经停止更新这款软件。具体配置如下: HDFS配置页面及端口http://master:50070 配置HDFS服务器 配置WebHDFS HDFS Explorer...
1.hdfs简介 2.hdfs的shell常用命令 3.hdfs的系统组成介绍 4.hdfs的组成部分详解
分布式文件系统hdfs 使用Java API操作HDFS分布式文件系统
HDFS是Hadoop分布式计算的存储基础。HDFS具有高容错性,可以部署在通用硬件设备上,适合数据密集型应用,并且提供对数据读写的高吞 吐量。HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决...
3、HDFS的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等)-java 网址:...
简单的介绍在HDFS中使用lucene完成索引和搜索的代码实例
(2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作系统:Linux(建议Ubuntu 16.04)。(2) Hadoop版本:2.7.1。 (3)JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS体系结构 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信协议 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程 22 1.3.1 HDFS客户端读流程 22 1.3.2 ...
hdfs文件的查看 hdfs fs -cat /文件名
1. 分布式文件系统与HDFS 2. HDFS 的shell 操作 3. HDFS 体系结构与基本概念 4 HDFS 的web 接口 5. HDFS 的java 访问接口 6. HDFS 的RPC 机制 7. NameNode 的接口分析 8. DataNode 的接口分析 9. HDFS 的写数据过程...
HDFS是Hadoop分布式计算的存储基础。HDFS具有高容错性,可以部署在通用硬件设备上,适合数据密集型应用,并且提供对数据读写的高吞 吐量。HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决...
HDFS部署与Shell命令使用
赠送jar包:hadoop-hdfs-client-2.9.1.jar; 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar; 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-client-2.9.1.pom;...
HDFS使用Shell命令 HDFS Java API的使用 基于Zookeeper搭建Hadoop高可用服务 二、蜂巢 Hive简介及核心概念 Linux环境下Hive的安装配置 Hive CLI 和 Beeline 命令行的基本使用 Hive 使用 DDL 操作 Hive 分区表和分区...
在安装好HDFS的前提下,此项目包含HDFS的基本操作,上传,下载,创建文件夹等。