@VM
[bigdata@bigdata hadoop]$ hadoop jar hadoop-test-1.0.4.jar TestDFSIO -write -nrFiles 10 -fileSize 20
Warning: $HADOOP_HOME is deprecated.
TestDFSIO.0.0.4
13/04/21 12:54:47 INFO fs.TestDFSIO: nrFiles = 10
13/04/21 12:54:47 INFO fs.TestDFSIO: fileSize (MB) = 20
13/04/21 12:54:47 INFO fs.TestDFSIO: bufferSize = 1000000
13/04/21 12:54:48 INFO fs.TestDFSIO: creating control file: 20 mega bytes, 10 files
13/04/21 12:54:48 INFO fs.TestDFSIO: created control files for: 10 files
13/04/21 12:54:48 INFO mapred.FileInputFormat: Total input paths to process : 10
13/04/21 12:54:48 INFO mapred.JobClient: Running job: job_201304060732_0008
13/04/21 12:54:49 INFO mapred.JobClient: map 0% reduce 0%
13/04/21 12:55:02 INFO mapred.JobClient: map 20% reduce 0%
13/04/21 12:55:09 INFO mapred.JobClient: map 40% reduce 0%
13/04/21 12:55:15 INFO mapred.JobClient: map 60% reduce 0%
13/04/21 12:55:18 INFO mapred.JobClient: map 60% reduce 13%
13/04/21 12:55:21 INFO mapred.JobClient: map 80% reduce 20%
13/04/21 12:55:27 INFO mapred.JobClient: map 100% reduce 26%
13/04/21 12:55:41 INFO mapred.JobClient: map 100% reduce 100%
13/04/21 12:55:46 INFO mapred.JobClient: Job complete: job_201304060732_0008
13/04/21 12:55:46 INFO mapred.JobClient: Counters: 30
13/04/21 12:55:46 INFO mapred.JobClient: Job Counters
13/04/21 12:55:46 INFO mapred.JobClient: Launched reduce tasks=1
13/04/21 12:55:46 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=45841
13/04/21 12:55:46 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0
13/04/21 12:55:46 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
13/04/21 12:55:46 INFO mapred.JobClient: Launched map tasks=10
13/04/21 12:55:46 INFO mapred.JobClient: Data-local map tasks=10
13/04/21 12:55:46 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=36159
13/04/21 12:55:46 INFO mapred.JobClient: File Input Format Counters
13/04/21 12:55:46 INFO mapred.JobClient: Bytes Read=1120
13/04/21 12:55:46 INFO mapred.JobClient: File Output Format Counters
13/04/21 12:55:46 INFO mapred.JobClient: Bytes Written=78
13/04/21 12:55:46 INFO mapred.JobClient: FileSystemCounters
13/04/21 12:55:46 INFO mapred.JobClient: FILE_BYTES_READ=833
13/04/21 12:55:46 INFO mapred.JobClient: HDFS_BYTES_READ=2340
13/04/21 12:55:46 INFO mapred.JobClient: FILE_BYTES_WRITTEN=239157
13/04/21 12:55:46 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=209715278
13/04/21 12:55:46 INFO mapred.JobClient: Map-Reduce Framework
13/04/21 12:55:46 INFO mapred.JobClient: Map output materialized bytes=887
13/04/21 12:55:46 INFO mapred.JobClient: Map input records=10
13/04/21 12:55:46 INFO mapred.JobClient: Reduce shuffle bytes=799
13/04/21 12:55:46 INFO mapred.JobClient: Spilled Records=100
13/04/21 12:55:46 INFO mapred.JobClient: Map output bytes=727
13/04/21 12:55:46 INFO mapred.JobClient: Total committed heap usage (bytes)=2764374016
13/04/21 12:55:46 INFO mapred.JobClient: CPU time spent (ms)=11070
13/04/21 12:55:46 INFO mapred.JobClient: Map input bytes=260
13/04/21 12:55:46 INFO mapred.JobClient: SPLIT_RAW_BYTES=1220
13/04/21 12:55:46 INFO mapred.JobClient: Combine input records=0
13/04/21 12:55:46 INFO mapred.JobClient: Reduce input records=50
13/04/21 12:55:46 INFO mapred.JobClient: Reduce input groups=5
13/04/21 12:55:46 INFO mapred.JobClient: Combine output records=0
13/04/21 12:55:46 INFO mapred.JobClient: Physical memory (bytes) snapshot=2931482624
13/04/21 12:55:46 INFO mapred.JobClient: Reduce output records=5
13/04/21 12:55:46 INFO mapred.JobClient: Virtual memory (bytes) snapshot=14189375488
13/04/21 12:55:46 INFO mapred.JobClient: Map output records=50
13/04/21 12:55:46 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
13/04/21 12:55:46 INFO fs.TestDFSIO: Date & time: Sun Apr 21 12:55:46 CST 2013
13/04/21 12:55:46 INFO fs.TestDFSIO: Number of files: 10
13/04/21 12:55:46 INFO fs.TestDFSIO: Total MBytes processed: 200
13/04/21 12:55:46 INFO fs.TestDFSIO: Throughput mb/sec: 27.359781121751027
13/04/21 12:55:46 INFO fs.TestDFSIO: Average IO rate mb/sec: 31.685556411743164
13/04/21 12:55:46 INFO fs.TestDFSIO: IO rate std deviation: 10.648457663926225
13/04/21 12:55:46 INFO fs.TestDFSIO: Test exec time sec: 58.006
13/04/21 12:55:46 INFO fs.TestDFSIO:
相关推荐
1、文档说明 3 1.1 编写目的 3 1.2术语与缩写解释 3 1.3 读者对象 4 1.4 参考资料 5 2、系统软硬件环境 5 2.1 硬件环境 5 2.2 软件环境 5 3、软件设定及调优 6 ...4、系统性能评测（基于Hadoop TestDFSIO） 9
在windows环境下开发hadoop时，需要配置HADOOP_HOME环境变量，变量值D:\hadoop-common-2.7.3-bin-master，并在Path追加%HADOOP_HOME%\bin，有可能出现如下错误： org.apache.hadoop.io.nativeio.NativeIO$Windows....
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
本书从hadoop的缘起开始，由浅入深，结合理论和实践，全方位地介绍hado叩这一高性能处理海量数据集的理想工具。全书共14章，3个附录，涉及的主题包括：haddoop简介：mapreduce简介：hadoop分布式文件系统；hadoop的i...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程...
调用保存文件的算子，需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置：os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe，并放入Hadoop解压...
Hadoop 集群配置详解 Hadoop_Hadoop集群（第1期）_CentOS安装配置 Hadoop_Hadoop集群（第2期）_机器信息分布表 Hadoop_Hadoop集群（第4期）_SecureCRT使用 Hadoop_Hadoop集群（第5期）_Hadoop安装配置 Hadoop_Hadoop...
hadoop2.7.3 Winutils.exe hadoop.dll
hadoop的dll文件 hadoop.zip
hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。...
支持如下版本的Hadoop hadoop-2.6.0 hadoop-2.6.3 hadoop-2.6.4 hadoop-2.7.1 hadoop-2.8.1 hadoop-2.8.3 hadoop-3.0.0
hadoop2.6.0 hadoop.dll包括winutils.exe
Hadoop Eclipse是Hadoop开发环境的插件，用户在创建Hadoop程序时，Eclipse插件会自动导入Hadoop编程接口的jar文件，这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序，也能通过Eclipse插件...
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合...
hadoop hadoop的hadoop.dll和winutils.exe 解决方法， 把winutils.exe加入你的hadoop-x.x.x/bin下 Could not locate executable null\bin\winutils.exe in the Hadoop binaries
《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术，包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...
windows下做hadoop入门，会出现hdfs报错，2.7.7版本兼容 windows下做hadoop入门，会出现hdfs报错，2.7.7版本兼容 windows下做hadoop入门，会出现hdfs报错，2.7.7版本兼容