- 浏览: 472815 次
- 性别:
- 来自: 南阳
文章分类
最新评论
-
yuanhongb:
这么说来,感觉CGI和现在的JSP或ASP技术有点像啊
cgi -
draem0507:
放假了还这么勤啊
JXL操作Excel -
chenjun1634:
学习中!!
PHP/Java Bridge -
Jelen_123:
好文章,给了我好大帮助!多谢!
hadoop安装配置 ubuntu9.10 hadoop0.20.2 -
lancezhcj:
一直用job
Oracle存储过程定时执行2种方法(转)
概述
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
用法:hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Hadoop有一个选项解析框架用于解析一般的选项和运行类。
--config confdir | 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。 |
GENERIC_OPTIONS | 多个命令都支持的通用选项。 |
COMMAND 命令选项S |
各种各样的命令和它们的选项会在下面提到。这些命令被分为 用户命令 管理命令两组。 |
常规选项
下面的选项被 dfsadmin, fs, fsck和 job支持。 应用程序要实现 Tool来支持 常规选项。
-conf <configuration file> | 指定应用程序的配置文件。 |
-D <property=value> | 为指定property指定值value。 |
-fs <local|namenode:port> | 指定namenode。 |
-jt <local|jobtracker:port> | 指定job tracker。只适用于job。 |
-files <逗号分隔的文件列表> | 指定要拷贝到map reduce集群的文件的逗号分隔的列表。 只适用于job。 |
-libjars <逗号分隔的jar列表> | 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job。 |
-archives <逗号分隔的archive列表> | 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。 |
用户命令
hadoop集群用户的常用命令。
archive
创建一个hadoop档案文件。参考 Hadoop Archives.
用法:hadoop archive -archiveName NAME <src>* <dest>
-archiveName NAME | 要创建的档案的名字。 |
src | 文件系统的路径名,和通常含正则表达的一样。 |
dest | 保存档案文件的目标目录。 |
distcp
递归地拷贝文件或目录。参考DistCp指南以获取等多信息。
用法:hadoop distcp <srcurl> <desturl>
srcurl | 源Url |
desturl | 目标Url |
fs
用法:hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]
运行一个常规的文件系统客户端。
各种命令选项可以参考HDFS Shell指南。
fsck
运行HDFS文件系统检查工具。参考Fsck了解更多。
用法:hadoop fsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
<path> | 检查的起始目录。 |
-move | 移动受损文件到/lost+found |
-delete | 删除受损文件。 |
-openforwrite | 打印出写打开的文件。 |
-files | 打印出正被检查的文件。 |
-blocks | 打印出块信息报告。 |
-locations | 打印出每个块的位置信息。 |
-racks | 打印出data-node的网络拓扑结构。 |
jar
运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中,使用这个命令执行。
用法:hadoop jar <jar> [mainClass] args...
streaming作业是通过这个命令执行的。参考Streaming examples中的例子。
Word count例子也是通过jar命令运行的。参考Wordcount example。
job
用于和Map Reduce作业交互和命令。
用法:hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>]
-submit <job-file> | 提交作业 |
-status <job-id> | 打印map和reduce完成百分比和所有计数器。 |
-counter <job-id> <group-name> <counter-name> | 打印计数器的值。 |
-kill <job-id> | 杀死指定作业。 |
-events <job-id> <from-event-#> <#-of-events> | 打印给定范围内jobtracker接收到的事件细节。 |
-history [all] <jobOutputDir> | -history <jobOutputDir> 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。 |
-list [all] | -list all显示所有作业。-list只显示将要完成的作业。 |
-kill-task <task-id> | 杀死任务。被杀死的任务不会不利于失败尝试。 |
-fail-task <task-id> | 使任务失败。被失败的任务会对失败尝试不利。 |
pipes
运行pipes作业。
用法:hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]
-conf <path> | 作业的配置 |
-jobconf <key=value>, <key=value>, ... | 增加/覆盖作业的配置项 |
-input <path> | 输入目录 |
-output <path> | 输出目录 |
-jar <jar file> | Jar文件名 |
-inputformat <class> | InputFormat类 |
-map <class> | Java Map类 |
-partitioner <class> | Java Partitioner |
-reduce <class> | Java Reduce类 |
-writer <class> | Java RecordWriter |
-program <executable> | 可执行程序的URI |
-reduces <num> | reduce个数 |
version
打印版本信息。
用法:hadoop version
CLASSNAME
hadoop脚本可用于调调用任何类。
用法:hadoop CLASSNAME
运行名字为CLASSNAME的类。
管理命令
hadoop集群管理员常用的命令。
balancer
运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。参考Rebalancer了解更多。
用法:hadoop balancer [-threshold <threshold>]
-threshold <threshold> | 磁盘容量的百分比。这会覆盖缺省的阀值。 |
daemonlog
获取或设置每个守护进程的日志级别。
用法:hadoop daemonlog -getlevel <host:port> <name>
用法:hadoop daemonlog -setlevel <host:port> <name> <level>
-getlevel <host:port> <name> | 打印运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name> |
-setlevel <host:port> <name> <level> | 设置运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name> |
datanode
运行一个HDFS的datanode。
用法:hadoop datanode [-rollback]
-rollback | 将datanode回滚到前一个版本。这需要在停止datanode,分发老的hadoop版本之后使用。 |
dfsadmin
运行一个HDFS的dfsadmin客户端。
用法:hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]]
-report | 报告文件系统的基本信息和统计信息。 |
-safemode enter | leave | get | wait | 安全模式维护命令。安全模式是Namenode的一个状态,这种状态下,Namenode 1. 不接受对名字空间的更改(只读) 2. 不复制或删除块 Namenode会在启动时自动进入安全模式,当配置的块最小百分比数满足最小的副本数条件时,会自动离开安全模式。安全模式可以手动进入,但是这样的话也必须手动关闭安全模式。 |
-refreshNodes | 重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。 |
-finalizeUpgrade | 终结HDFS的升级操作。Datanode删除前一个版本的工作目录,之后Namenode也这样做。这个操作完结整个升级过程。 |
-upgradeProgress status | details | force | 请求当前系统的升级状态,状态的细节,或者强制升级操作进行。 |
-metasave filename | 保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的<filename>文件。对于下面的每一项,<filename>中都会一行内容与之对应 1. Namenode收到的Datanode的心跳信号 2. 等待被复制的块 3. 正在被复制的块 4. 等待被删除的块 |
-setQuota <quota> <dirname>...<dirname> | 为每个目录 <dirname>设定配额<quota>。目录配额是一个长整型整数,强制限定了目录树下的名字个数。 命令会在这个目录上工作良好,以下情况会报错: 1. N不是一个正整数,或者 2. 用户不是管理员,或者 3. 这个目录不存在或是文件,或者 4. 目录会马上超出新设定的配额。 |
-clrQuota <dirname>...<dirname> | 为每一个目录<dirname>清除配额设定。 命令会在这个目录上工作良好,以下情况会报错: 1. 这个目录不存在或是文件,或者 2. 用户不是管理员。 如果目录原来没有配额不会报错。 |
-help [cmd] | 显示给定命令的帮助信息,如果没有给定命令,则显示所有命令的帮助信息。 |
jobtracker
运行MapReduce job Tracker节点。
用法:hadoop jobtracker
namenode
运行namenode。有关升级,回滚,升级终结的更多信息请参考升级和回滚。
用法:hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
-format | 格式化namenode。它启动namenode,格式化namenode,之后关闭namenode。 |
-upgrade | 分发新版本的hadoop后,namenode应以upgrade选项启动。 |
-rollback | 将namenode回滚到前一版本。这个选项要在停止集群,分发老的hadoop版本后使用。 |
-finalize | finalize会删除文件系统的前一状态。最近的升级会被持久化,rollback选项将再不可用,升级终结操作之后,它会停掉namenode。 |
-importCheckpoint | 从检查点目录装载镜像并保存到当前检查点目录,检查点目录由fs.checkpoint.dir指定。 |
secondarynamenode
运行HDFS的secondary namenode。参考Secondary Namenode了解更多。
用法:hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
-checkpoint [force] | 如果EditLog的大小 >= fs.checkpoint.size,启动Secondary namenode的检查点过程。 如果使用了-force,将不考虑EditLog的大小。 |
-geteditsize | 打印EditLog大小。 |
tasktracker
运行MapReduce的task Tracker节点。
用法:hadoop tasktracker
转自:http://blog.sina.com.cn/s/blog_5fbdba500100cy6d.html~type=v5_one&label=rela_nextarticle
发表评论
-
mysql 定时任务
2015-11-03 09:57 731定时任务 查看event是否开启: show variabl ... -
tomcat服务器大数量数据提交Post too large解决办法
2015-10-29 11:05 699tomcat默认设置能接收HTTP POST请求的大小最大 ... -
Tomcat启动内存设置
2015-10-20 15:40 635Tomcat的启动分为startupo.bat启动和注册为w ... -
Java串口包Javax.comm的安装
2015-10-12 16:32 655安装个java的串口包安装了半天,一直找不到串口,现在终于搞 ... -
在 Java 应用程序中访问 USB 设备
2015-10-10 17:49 912介绍 USB、jUSB 和 JSR- ... -
mysql定时器
2015-08-04 14:01 5635.1以后可以使用 ALTER EVENT `tes ... -
oracle安装成功后,更改字符集
2015-07-23 11:53 597看了网上的文章,乱码有以下几种可能 1. 操作系统的字符集 ... -
利用html5调用本地摄像头拍照上传图片
2015-05-18 09:36 2569测试只有PC上可以,手机上不行 <!DOCTYPE ... -
必须Mark!最佳HTML5应用开发工具推荐
2015-05-15 22:50 926摘要:HTML5自诞生以来,作为新一代的Web标准,越来 ... -
Mobl试用二
2015-05-13 14:28 601最近有空又看了一下Mobl的一些说语法,备忘一下: 1 ... -
Nginx配置文件详细说明
2015-05-08 19:58 572在此记录下Nginx服务器nginx.conf的配置文件说明 ... -
axis调用cxf
2015-04-23 13:51 5161、写address时不用加?wsdl Service s ... -
mysql 获取第一个汉字首字母
2015-03-18 17:48 590select dmlb, dmz, dmsm1, CHAR ... -
failed to install Tomcat6 service解决办法
2015-02-12 09:20 494最近我重装了一下tomcat 6.0,可不知为什么,总是安装 ... -
tomcat 分配java内存
2015-02-11 10:37 556//首先检查程序有没有限入死循环 这个问题主要还是由这个问 ... -
[Android算法] Android蓝牙开发浅谈
2014-12-15 15:27 625对于一般的软件开发人 ... -
Android 内存溢出解决方案(OOM) 整理总结
2014-11-21 10:12 705原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出 ... -
《HTML5从入门到精通》中文学习教程 PDF
2014-11-19 21:26 1086HTML5 草案的前身名为Web Applications ... -
mysql字符串函数(转载)
2014-11-13 12:05 533对于针对字符串位置的操作,第一个位置被标记为1。 AS ... -
MySQL中tinytext、text、mediumtext和longtext详解
2014-11-07 11:37 807、数字类型 类型 范围 说明 ...
相关推荐
Hadoop命令手册,总结了hadoop常用的hadoop指令,是初学者入门很好的工具书。
熟悉haoop命令,让云计算更上一步 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
分布式文件系统软件,Hadoop的命名使用手册,官方简体中文版
Facebook的实时Hadoop系统 hadoop的首次使用 Hadoop命令手册 Hadoop权威指南(第2版) hadoop伪分布配置自写 在Windows上安装Hadoop教程
使用Mysql构建简单数据集市29#Mysql的两种引擎介绍29#创建一个数据表使用Hive cli 进行数据分析29#使用shell 编写Hsql 并使用HiveCli导出数据,使用Mysql命令加载到数据库中。29#使用crontab 新增每日运行任务定时器...
3、Hadoop命令手册 4、Hadoop权威指南 5、hadoop伪分布配置自写 6、在Windows上安装Hadoop教程 7、Transwarp 8、HDFS基础培训 9、MapReduce基础培训 10、Spark 等等。 另有整套hadoop视频教程和ppt。需要的朋友留下...
4.7 .................................................................................................19 管理界面与命令 4.7.1 ..............................................................................
3.4.3 Hadoop 纠删码概述…·…········· ·· ·· ····· ·· ····· · ··· · ······· ·· ….... . .. .…..... .. ....................... 147 3.4.4 纠删码技术在Hadoop 中的...
Hadoop 中文教程 。包括快速入门,集群搭建,分布式文件系统,命令手册等文件。
hadoop 权威指南、命令手册、开发者入门专刊、开发者第一期、开发者第二期、开发者第三期、hadoop和hbase安装使用、hadhoop的安装与使用、hadoop的mapReduce执行过程介绍
4.4 适应Hadoop API 的改变 4.5 Hadoop 的Streaming 4.5.1 通过Unix命令使用Streaming 4.5.2 通过脚本使用Streaming 4.5.3 用Streaming处理键/值对 4.5.4 通过Aggregate包使用Streaming 4.6 使用combiner 提升...
包含了Hadoop入门,积极实战的书籍,都是中文版的。还有hadoop的命令手册文档。
本文档为Apache官方Hadoop 1.1.0中文文档 ...8.命令手册 9.FS Shell使用指南 10.DistCp使用指南 11.Map-Reduce教程 12.Hadoop本地库 13.Streaming 14.Hadoop Archives 15.Hadoop On Demand 另附带 Hadoop API
centos (linux) shell常用命令实例手册大全,包括:常用shell命令、语法、环境配置、实例、mysql、jdk、hadoop、hdfs、keepalive、文件操作、软件安装、系统、权限、服务、网络、磁盘管理 等各个方面的shell实例
30第3章 Hadoop组件 313.1 HDFS文件操作 313.1.1 基本文件命令 323.1.2 编程读写HDFS 353.2 剖析MapReduce程序 373.2.1 Hadoop数据类型 393.2.2 Mapper 403.2.3 Reducer 413.2.4 Partitioner:...
HDFS,HBase,Hive,Zookeep,Yarn,HadoopLoader,Storm,Kafka,Spark等命令实例,系统全面。