HDFS 常用的文件操作命令
1.-cat
使用方法:hadoop fs -cat URI
说明:将路径指定的文件输出到屏幕
示例: hadoop fs -cat hdfs://host1:port1/file
hadoop fs -cat file:///file3
2.-copyFromLocal
使用方法:hadoop fs -copyFromLocal <localsrc>URI
说明: 将本地文件复制到 HDFS 中。
3.copyToLocal
使用方法:hadoop fs -copyToLocal <localsrc>URI
说明: 将一个文件从 HDFS 系统中复制到本地文件
4.-cp
使用方法:hadoop fs -cp URI
说明:将文件从源路径复制到目标路径。这个命令可以复制多个源路径,但是目标路径必须
是一个目录
示例: hadoop fs -cp /user/file /uesr/files
Hadoop fs -cp /user/file1 /user/files /user/dir
5.-du
使用方法:hadoop fs -du URI
说明: 显示目录中所有文件大小,或者指定一个文件时,显示此文件大小
示例: hadoop fs -du /user/dir1
Hadoop fs -du hdfs://host:port/user/file
6.-dus
使用方法:hadoop fs -dus <ars>
说明: 显示目标文件大小
7.-expunge
使用方法:hadoop fs -expunge
说明: 用于清空回收站
8.-get
使用方法:hadoop fs -get <locaodst>
说明:复制文件到本地文件系统。
示例: hadoop fs -get /user/file localfile
Hadoop fs -get hdfs://host:port/file localfile
9.-ls
使用方法:hadoop fs -ls <arg>
说明:浏览本地文件,并按如下格式返回文件信息
文件名<副本数> 文件大小 修改日期 权限 用户 ID/组 ID
如果浏览的是一个木渎,则返回其子文件的一个列表,信息如下:
目录名<dir> 修改日期 修改时间 权限 用户 ID/组 ID
示例: hadoop fs -ls /user/file
Hadoop fs -ls hdfs://host:port/user/dir
10.-lsr
使用方法:hadoop fs -lsr
说明: 递归第查阅文件内容
11.-mkdir
使用方法:hadoop fs -mkdir<path>
说明: 创建对应的文件目录,并直接创建相应的父目录
示例: hadoop fs -mkdir /user/dir1/dir2/dir3/file
Hadoop fs -mkdir hdfs://host:port/user/dir
12.-mv
使用方法:hadoop fs -mv URI <dest>
说明: 将源文件移动到目标路径,这目标路径可以有多个,不允许在不同文件系统移动。
示例: hadoop fs -mv /user/file1 /user/file2
Hadoop fs -mv hdfs://host:port/file1 hdfs://host:prot/file2
13.-put
使用方法:hadoop fs -put<localsrc> <dst>
说明: 从本地文件系统复制单个或多个源路径到目标文件系统。
示例: hadoop fs -put localfile /user/file
hadoop fs -put localfile hdfs://host:port/user/file
14.-rm
使用方法: hadoop fs -rm URI
说明:删除指定的文件,且要求非空的目录和文件。
示例: hadoop fs -rm hdfs://host:port/file
15.-rmr
使用方法: hadoop fs -rmr URI
说明:递归地删除指定文件中的空目录。
16.-Setrep
使用方法: hadoop fs -setrep [R] <path>
说明: 改变一个副本复制份数
示例: hadoop fs -setrep -w 3 -R /user/file
17.-Test
使用方法:hadoop fs -test -[ezd] URI
说明: 使用 e z d 对文件进行检查
-e 检查文件是否存在,若存在返回值为 0;
-z 检查文件是否为 0 字节,如果是则返回 0;
-d 检查路径是否为目录,如果是则返回 1,否则返回 0
18.-text
使用方法:hadoop fs -text <src>
说明:将源文件输出为文本格式,运行的格式是 zip 以及 Text 类
以上是 HDFS 中使用命令行对 HDFS 中文件进行操作,与一般操作命令类似,例如我们
将某一个文件从本地的文件系统复制到 HDFS 中。可以通过执行以下命令进行操作:
$ hadoop fs -copyFromLocal /user/localFile.txt sample.txt
此部分代码通过调用命令 fs,指定执行脚本命令-copyFromLocal,将本地文 localFile.txt
复制到运行在 localhost 上的 HDFS 文件系统中。
相关推荐
文档详细的讲述了Hadoop中HDFS文件操作命令和HDFS编程
(2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作系统:Linux(建议Ubuntu 16.04)。(2) Hadoop版本:2.7.1。 (3)JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
Hadoop(HDFS文件系统)命令操作
本文档时Hadoop云计算平台下运用Hadoop API对HDFS进行相关的操作,详细的记录了程序在eclipse中的应用,代码内容和运行结果,是学习Hadoop非常有用的资料。
适合刚接触hadoop的学生或小白,内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
熟悉常用的HDFS操作 (1) 理解HDFS在Hadoop体系结构中的角色; (2) 熟练使用HDFS操作常用的Shell命令; (3) 熟悉HDFS操作常用的Java API。
数据科学导论 实验2:熟悉常用的HDFS操作 1. 编程实现以下指定功能,并利用 Hadoop 提供的 Shell 命令完成相同任务: 2. 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream...
Shell命令和java两种方式完成了常用的HDFS操作,有源代码及运行结果截图 (1)向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件 (2)从HDFS中...
2. 熟练使用HDFS操作常用的Shell命令; 3. 熟悉HDFS操作常用的Java API。 二、实验平台 1. 操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04); 2. Hadoop版本:3.1.3; 3. JDK版本:1.8; 4. Java IDE:Eclipse。 ...
1)使用HDFS文件操作的常用Shell命令; 2)利用Hadoop提供的Java API进行基本的文件操作。 二.实验目的 1、理解HDFS在Hadoop体系结构中的角色。 2、熟练使用HDFS操作常用的Shell命令。 3、熟悉HDFS操作常用的Java...
1. 显示当前目录结构 2. 创建目录 3. 删除操作 4. 从本地加载文件到 HDFS 5. 从 HDFS 导出文件到本地 6. 查看文件内容 7. 显示文件
一、实验目的 1. 理解 HDFS 体系架构。 2. 理解 HDFS 文件存储原理和数据读写过程。 3. 熟练掌握 HDFS Web UI 界面的使用...5. 使用 HDFS Java API 编写 HDFS 文件操作程序,实现上传本地文件到 HDFS 的功能。。。。。
(6)移动hdfs文件:hdfs dfs -mv /hdfs路径 /hdfs路径 (7)复制hdfs文件:hdfs dfs -cp /hdfs路径 /hdfs路径 (8)删除hdfs文件:hdfs dfs -rm /文件名 (9)删除hdfs文件夹:hdfs dfs -rm -r /文件夹名
HDFS基本操作命令: -help [cmd] // 显示命令的帮助信息 -ls(r) <path> // 显示当前目录下的所有文件 -du(s) <path> // 显示目录中所有文件大小 -count[-q] <path> // 显示目录中文件数量 -mv <src> <dst> // 移动多...
HDFS 文件操作有两种方式:一种是命令行方式,Hadoop 提供了一套与 Linux 文件命令类似的命令行工具;另一种是 Java API,即利用 Hadoop 的 Java 库,采用编程的方式操作 HDFS 的文件。 本节将介绍 Linux 操作系统中...
5.1.4 HDFS文件与操作方法 451 5.1.5 HDFS文件读写方法 452 5.2 文件读操作与输入流 452 5.2.1 打开文件 452 5.2.2 读操作――DFSInputStream实现 461 5.3 文件短路读操作 481 5.3.1 短路读共享内存 482...
4.2.3. 常用命令实操 9 4.3. 通过Java实现HDFS操作及访问 14 4.3.1. IntelliJ IDEA 16 4.3.2. maven软件安装与配置 17 4.3.3. IDEA关联maven插件 19 4.3.4. 新建maven项目 19 4.3.5. 导入项目所需要的依赖 22 4.3.6....
主要介绍了使用hadoop的API对HDFS上的文件访问,其中包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下
HDFS Shell命令允许使用命令行的方式在HDFS存储中进行文件夹和文件操作,包括像:文件夹的增删改查、文件的增删改查等等。 HDFS Shell命令 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS ...
08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16.Hive操作 17.Hive查询 18.HBase 19.Pig 20.Pig Latin 21....