MRUnit是一个用于测试mapreduce程序的java框架,它可以很方便地测试Mapper和rudecer程序
使用方法:
在maven中加入下面配置:
<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>0.9.0-incubating</version> <classifier>hadoop2</classifier> </dependency>
The MRUnit build process has changed to produce mrunit-0.9.0-hadoop1.jar and mrunit-0.9.0-hadoop2.jar instead of mrunit-0.9.0-hadoop020.jar, mrunit-0.9.0-hadoop100.jar and mrunit-0.9.0-hadoop023.jar. The hadoop1 classifier is for all Apahce Hadoop versions based off the 0.20.X line including 1.0.X. The hadoop2 classifier is for all Apache Hadoop versions based off the 0.23.X line including the unreleased 2.0.X.
参考:https://cwiki.apache.org/confluence/display/MRUNIT/Index
相关推荐
mrunit mrunit mrunit mrunit
apache-mrunit-1.1.0-hadoop2-bin和apache-mrunit-1.1.0-hadoop1-bin包括mrunit-1.1.0-hadoop2.jar
MRUnit测试支持JAR包,它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。MRUnit与标准的执行框架(JUnit)一起使用。
Hadoop MRUnit测试 工程用Maven构建,详细过程参见本人博客Maven构建一文
支持MapReduce MRUnit单元测试包,支持MapReduce MRUnit单元测试包
hadoop本地测试的jar包 ,mrunit-1.1.0-hadoop2.jar,使用后可在本地进行MapReduce代码测试
hadoop-0.21.0-mrunit.jar
hadoop单元测试方法--使用和增强MRUnit.docx
用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar
官网下载的Hadoop2的单元测试工具apache-mrunit-1.1.0-hadoop2-bin.tar.gz,用法跟JUnit相似,需要的朋友拿走
非常好用测试插件,在mapReduce下直接可以运行,本人亲测成功
使用MRUnit来编写HadoopMapReduce应用程序的JUnit测试2.使用PowerMock和Mockito模拟静态方法3.模拟其他类型中的业务逻辑(译注:也就是编写测试驱动模块)4.查看模拟的业务逻辑是否被调用(译注:测试驱动模块是否...
hadoop mrunit调试和winutils本地、远程调试。对应博客地址:http://blog.xiaoxiaomo.com/2016/05/20/Idea-Eclipse-Windows下调试Hadoop/
13.1.2 MRUnit . 技术点79 MapReduce 函数、作业和管道的单元测试 13.1.3 LocalJobRunner 技术点80 用LocalJobRunner 进行重量级的作业测试 13.1.4 集成和QA 测试 13.2 调试用户空间的问题 13.2.1 ...
java” 单元测试路径: “ src / test / java” 样本输入日志文件路径: “输入” 样本输出路径: “已排序”特征LogAnalyzer的开发目的是演示以下功能: 编写MapReduce Java程序使用柜台使用排序比较器使用MRUnit ...
12 Crunch 及相关技术12.1 什么是Crunch12.1.1 背景和概念12.1.2 基本原理12.1.3 简单示例12.2 发现日志中最热门的URL技术点77 使用Crunch 进行日志解析和基本分析12.3 合并技术点78 Crunch 的...
对于每个样本,我都包含了一些使用mrunit(map-reduce单元)的简单测试。 这是一个标准的Maven项目,因此您可以使用以下命令进行构建: mvn clean install字数程序包:com.sodonnel.Hadoop 这是wordcount示例的一种...
书中包括了更多的mapreduce资料,比如用maven打包MapReduce,设置java环境变量,写MRUnit测试单元(第五章介绍),还有一些更深入的特性,比如输出的提交,分布式缓存等(第8章),任务内存监控(第9章),第4章...
具有MRUnit测试的MapReduce WordCount应用程序 字符串对的MapReduce自定义可写实现 MapReduce自定义InputFormat和RecordReader实现 MapReduce自定义OutputFormat和RecordWriter实现 Pig自定义LoadFunc加载和解析...