1、查看指定目录下内容
hadoop dfs –ls [文件目录]
eg: hadoop dfs –ls /user/
2、打开某个已存在文件
hadoop dfs –cat [file_path]
eg:hadoop dfs -cat /user/data.txt
3、将本地文件存储至hadoop
hadoop fs –put [本地地址] [hadoop目录]
hadoop fs –put /home/t/file.txt /user/t
(file.txt是文件名)
4、将本地文件夹存储至hadoop
hadoop fs –put [本地目录] [hadoop目录]
hadoop fs –put /home/t/dir_name /user/t
(dir_name是文件夹名)
5、将hadoop上某个文件down至本地已有目录下
hadoop fs -get [文件目录] [本地目录]
hadoop fs –get /user/t/ok.txt /home/t
6、删除hadoop上指定文件
hadoop fs –rm [文件地址]
hadoop fs –rm /user/t/ok.txt
7、删除hadoop上指定文件夹(包含子目录等)
hadoop fs –rm [目录地址]
hadoop fs –rmr /user/t
8、在hadoop指定目录内创建新目录
hadoop fs –mkdir /user/t
9、在hadoop指定目录下新建一个空文件
使用touchz命令:
hadoop fs -touchz /user/new.txt
10、将hadoop上某个文件重命名
使用mv命令:
hadoop fs –mv /user/test.txt /user/ok.txt (将test.txt重命名为ok.txt)
11、将hadoop指定目录下所有内容保存为一个文件,同时down至本地
hadoop dfs –getmerge /user /home/t
12、将正在运行的hadoop作业kill掉
hadoop job –kill [job-id]
启动与关闭
启动Hadoop
1. 进入HADOOP_HOME目录。
2. 执行sh bin/start-all.sh
关闭Hadoop
1. 进入HADOOP_HOME目录。
2. 执行sh bin/stop-all.sh
文件操作
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。
查看文件列表
查看hdfs中/user/admin/aaron目录下的文件。
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -ls /user/admin/aaron
这样,我们就找到了hdfs中/user/admin/aaron目录下的文件了。
我们也可以列出hdfs中/user/admin/aaron目录下的所有文件(包括子目录下的文件)。
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -lsr /user/admin/aaron
创建文件目录
查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir
删除文件
删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete
删除hdfs中/user/admin/aaron目录以及该目录下的所有文件
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs -rmr /user/admin/aaron
上传文件
上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/
下载文件
下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile
查看文件
我们可以直接在hdfs中直接查看文件,功能与类是cat类似
查看hdfs中/user/admin/aaron目录下的newFile文件
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop fs –cat /home/admin/newFile
MapReduce Job操作
提交MapReduce Job
原则上说,Hadoop所有的MapReduce Job都是一个jar包。
运行一个/home/admin/hadoop/job.jar的MapReduce Job
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
杀死某个正在运行的Job
假设Job_Id为:job_201005310937_0053
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop job -kill job_201005310937_0053
更多Hadoop的命令
上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多,可以按照如下的方式获取命令的说明信息。
1. 进入HADOOP_HOME目录。
2. 执行sh bin/hadoop
我们可以看到更多命令的说明信息:
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
jobtracker run the MapReduce job Tracker node
pipes run a Pipes job
tasktracker run a MapReduce task Tracker node
job manipulate MapReduce jobs
queue get information regarding JobQueues
version print the version
jar <jar> run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME <src>* <dest> create a hadoop archive
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
相关推荐
# 解压命令 tar -zxvf flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar.tar.gz # 介绍 用于CDH部署 Flink所依赖的jar包
spark-2.4.5-bin-hadoop2.7.tgz的安装包,适用ubuntu,Redhat等linux系统,解压即可安装,解压命令:tar -zxvf spark-2.4.5-bin-hadoop2.7.tar.gz -C dst(解压后存放路径)
kettle 9.1 连接hadoop clusters (CDH 6.2) 驱动
Maven,版本3+ Java JDK 1.8 /.m2目录中的这个 建立它 这是一个maven项目,要使用以下命令进行构建 $ mvn clean install (可选)您可以指定-Drelease以触发混淆和/或丑化(根据需要) (可选)您可以指定-...
用于hdfs集群访问ES的工具类型,可以将HQL转化为ES识别的命令。
3.更多细节:hadoop job -history all output-dir 4.杀死任务 5.使任务失败 1.申请新的application,直接通过c
高级软件人才培训专家_Hadoop课程资料_2-Linux基础命令
macOS下使用hadoop2.8.1时, 执行hadoop fs 命令(如:hadoop fs -ls /tmp/input)会提示: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ...
HADOOP 文件系统SHELL; hive批处理、交互式SHELL; IMPALA介绍、支持的命令。
window10搭建pyspark的两种方法(基于spark-3.0.0-bin-hadoop2) 方法一: 最最简便的方法就是直接pip install pyspark 如果安装出现timeout,可以下载pyspark-3.0.0.tar,然后离线安装 方法:cd进入pyspark-3.0.0....
Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 JDK1.8 本文档主要介绍了在 CentOS7 环境下搭建 Hadoop 环境,包括安装配置 JDK1.8 的过程。下面是相关知识点的总结: 一、删除自带的 OpenJDK 在 CentOS7 中,...
hadoop命令大全hadoop命令大全hadoop命令大全hadoop命令大全hadoop命令大全
Ubuntu16.04搭建Hadoop2.6.7-纯命令.docx
项目:maven-hadoop-java-wordcount-template 这是一个 ...编译你的项目要编译项目,请使用 maven 命令 mvn clean package运行您的应用程序使用 Hadoop 在你的 shell 中 hadoop jar your-hadoop-application.jar arg0
hadoop 命令大全
3. 删除Mysql文件夹 在卸载完毕Mysql软件包后,需要删除Mysql文件夹: sudo rm -rf /var/lib/mysql sudo rm -rf /var/lib/mysql/mysql sudo rm -rf /usr/share/mysql sudo rm -rf /home/hadoop/hive-2.1.1/scripts...
详细介绍Spark2.3.0和Hadoop2.7.4集群在RedHat服务器部署,内涵hadoop 基于NFS 的HA高可用模式, yarn HA高可用, zookeeper安装,spark集群部署,NFS目录创建。对相关参数有详细介绍,以及提供了涉及到的Linux命令...
3.在本地测试 可以 执行 压缩及解压缩命令 下载 https://github.com/kevinweil/hadoop-lzo/zipball/master 解压包 export CFLAGS=-m64 export CXXFLAGS=-m64 //用于 hadoop0.20 ,所以1.0未必适用 进行build ant ...
该方法把Ambari及其运行环境和配置构建成Docker镜像,并把多节点容器的运行和Hadoop集群的部署过程写成Shell脚本,只需一条命令,即可实现集群的自动化部署。实验结果表明,该方法简单可靠并极大地提高了集群部署的...