查看集群状态:
hadoop dfsadmin -report
显示块的信息,包括:备份数量,存在哪个节点,保存状态
hadoop fsck /user/ak47/tmp_0.gz -files -racks -blocks
检查HDFS状态:
hadoop fsck {path}
举例:
hadoop fsck /user
举例:
hadoop fsck /user
使用distcp在集群间进行文件复制(在dist机器执行)
hadoop distcp hdfs://{src_host_ip}:9000/log/src/FCACCESS/20110105/00 hdfs://{dist_hostname}:9000/log/src/FCACCESS/20110105/00
手动 关闭/打开 服务
hadoop-daemon.sh start/stop jobtracker/namenode/datanode
关闭安全模式:
hadoop dfsadmin -safemode leave
马上开始一个测试Mapreduce job
hadoop-0.20 fs -mkdir input
hadoop-0.20 fs -put /etc/hadoop-0.20/conf/*.xml input
hadoop-0.20 fs -ls input
hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
hadoop-0.20 fs -put /etc/hadoop-0.20/conf/*.xml input
hadoop-0.20 fs -ls input
hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
冒烟测试
测试HDFS性能
hadoop jar hadoop-test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000 # 测试write
hadoop jar hadoop-test*.jar TestDFSIO -read -nrFiles 100 -fileSize 100 # 测试read
hadoop jar hadoop-test*.jar TestDFSIO -clean # 清除生成数据
hadoop jar hadoop-test*.jar TestDFSIO -read -nrFiles 100 -fileSize 100 # 测试read
hadoop jar hadoop-test*.jar TestDFSIO -clean # 清除生成数据
排序测试
hadoop jar hadoop-examples-*.jar teragen 10000000 /user/hadoop/input_dir
hadoop jar hadoop-examples-*.jar terasort /user/hadoop/input_dir /user/hadoop/output_dir
#4台内存32GB、8core,1T*6磁盘、map slot 32个、reduce slot 16个,耗时37s
hadoop jar hadoop-examples-*.jar terasort /user/hadoop/input_dir /user/hadoop/output_dir
#4台内存32GB、8core,1T*6磁盘、map slot 32个、reduce slot 16个,耗时37s
求PI值
hadoop jar hadoop-examples-*.jar pi 10 100
相关推荐
hadoop shell 命令速查表,大数据 shell 使用方向,重在使用和操作,希望对大家学习和工作有所帮助。
该文档记录了在linux的shell环境下执行的hadoop的相关操作命令,包括多hafs文件的相关操作
介绍了Hadoop bin下所有脚本以及Hadoop Shell使用介绍
hadoop shell 伪分布式
介绍hadoop的基本shell命令用法
这里囊括了所有操作hadoop的shell命令,十分齐全,,。
Hadoop Shell命令,针对云计算的hadoop系统的操作命令集合
hadoop 的也许shell命令,hadoopde java 命令
NULL 博文链接:https://huanglz19871030.iteye.com/blog/1518589
Hadoop 有两个核心的东西:HDFS、MapReduce。操作HDFS可以通过命令行、WEB接口和JAVA代码。本文档详细介绍了操作HDFS的命令,并配有详细的例子。
Hadoop Shell 命令自动完成用法与您每天使用的 Bash 自动完成类似,按两次TAB键: TAB TAB 。无需安装获取脚本,假设您将其保存到~/bin/hadoop-completion.sh : curl ...
利用Hadoop YARN ResourceManager 未授权访问getshell工具以及WORD说明
阅读源代码前的准备1.1 准备源代码学习环境1.1.1 基础软件下载1.1.2 ...Hadoop Shell介绍1.5.3 Hadoop Eclipse插件介绍1.6 编译及调试Hadoop源代码1.6.1 编译Hadoop源代码1.6.2 调试Hadoop源代码1.7 小结第2章...
hadoop 部分 shell 脚本
hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令hadoop hbase_shell操作命令
hadoop集群关机重启shell脚本
hadoop HBaseshell常用shell命令,这是工作中整理的一份文档,使用价值很高
这个包里包括 hadoop-eclipse-plugin-1.1.1插件,hadoop javaAPI一个简单的小例子,以及调用时可能遇到的问题。还有hadoop shell
适用于《shell脚本配置伪分布式Hadoop》