`

MRUnit使用

阅读更多

MRUnit是一个用于测试mapreduce程序的java框架,它可以很方便地测试Mapper和rudecer程序

 

使用方法:

在maven中加入下面配置:

<dependency>
      <groupId>org.apache.mrunit</groupId>
      <artifactId>mrunit</artifactId>
      <version>0.9.0-incubating</version>
      <classifier>hadoop2</classifier>
    </dependency>

 The MRUnit build process has changed to produce mrunit-0.9.0-hadoop1.jar and mrunit-0.9.0-hadoop2.jar instead of mrunit-0.9.0-hadoop020.jar, mrunit-0.9.0-hadoop100.jar and mrunit-0.9.0-hadoop023.jar. The hadoop1 classifier is for all Apahce Hadoop versions based off the 0.20.X line including 1.0.X. The hadoop2 classifier is for all Apache Hadoop versions based off the 0.23.X line including the unreleased 2.0.X.

 

 

参考:https://cwiki.apache.org/confluence/display/MRUNIT/Index

分享到:
评论

相关推荐

    mrunit-1.1.0-hadoop2

    mrunit mrunit mrunit mrunit

    Mrunit-1.1.0-hadoop2

    apache-mrunit-1.1.0-hadoop2-bin和apache-mrunit-1.1.0-hadoop1-bin包括mrunit-1.1.0-hadoop2.jar

    mrunit-1.1.0-hadoop2.jar

    MRUnit测试支持JAR包,它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。MRUnit与标准的执行框架(JUnit)一起使用。

    Hadoop MRUnit测试

    Hadoop MRUnit测试 工程用Maven构建,详细过程参见本人博客Maven构建一文

    apache-mrunit-1.1.0-hadoop2-bin.tar

    支持MapReduce MRUnit单元测试包,支持MapReduce MRUnit单元测试包

    mrunit-1.1.0.jar

    hadoop本地测试的jar包 ,mrunit-1.1.0-hadoop2.jar,使用后可在本地进行MapReduce代码测试

    hadoop-0.21.0-mrunit.jar

    hadoop-0.21.0-mrunit.jar

    hadoop单元测试方法--使用和增强MRUnit.docx

    hadoop单元测试方法--使用和增强MRUnit.docx

    hadoop-mrunit-0.20.2-cdh3u4.jar

    用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar

    apache-mrunit-1.1.0-hadoop2-bin.tar.gz

    官网下载的Hadoop2的单元测试工具apache-mrunit-1.1.0-hadoop2-bin.tar.gz,用法跟JUnit相似,需要的朋友拿走

    mrunit测试插件

    非常好用测试插件,在mapReduce下直接可以运行,本人亲测成功

    HadoopMapReduce作业的单元测试

    使用MRUnit来编写HadoopMapReduce应用程序的JUnit测试2.使用PowerMock和Mockito模拟静态方法3.模拟其他类型中的业务逻辑(译注:也就是编写测试驱动模块)4.查看模拟的业务逻辑是否被调用(译注:测试驱动模块是否...

    HadoopMRunit_Winutils

    hadoop mrunit调试和winutils本地、远程调试。对应博客地址:http://blog.xiaoxiaomo.com/2016/05/20/Idea-Eclipse-Windows下调试Hadoop/

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    13.1.2 MRUnit . 技术点79 MapReduce 函数、作业和管道的单元测试 13.1.3 LocalJobRunner 技术点80 用LocalJobRunner 进行重量级的作业测试 13.1.4 集成和QA 测试 13.2 调试用户空间的问题 13.2.1 ...

    LogAnalyzer:Apache日志分析器

    java” 单元测试路径: “ src / test / java” 样本输入日志文件路径: “输入” 样本输出路径: “已排序”特征LogAnalyzer的开发目的是演示以下功能: 编写MapReduce Java程序使用柜台使用排序比较器使用MRUnit ...

    Hadoop实战(第2版)

    12 Crunch 及相关技术12.1 什么是Crunch12.1.1 背景和概念12.1.2 基本原理12.1.3 简单示例12.2 发现日志中最热门的URL技术点77 使用Crunch 进行日志解析和基本分析12.3 合并技术点78 Crunch 的...

    map-reduce-samples:实验图简化代码

    对于每个样本,我都包含了一些使用mrunit(map-reduce单元)的简单测试。 这是一个标准的Maven项目,因此您可以使用以下命令进行构建: mvn clean install字数程序包:com.sodonnel.Hadoop 这是wordcount示例的一种...

    hadoop权威指南 第三版 英文版

    书中包括了更多的mapreduce资料,比如用maven打包MapReduce,设置java环境变量,写MRUnit测试单元(第五章介绍),还有一些更深入的特性,比如输出的提交,分布式缓存等(第8章),任务内存监控(第9章),第4章...

    mapreduce_training:用于教学目的的MapReduce应用程序集

    具有MRUnit测试的MapReduce WordCount应用程序 字符串对的MapReduce自定义可写实现 MapReduce自定义InputFormat和RecordReader实现 MapReduce自定义OutputFormat和RecordWriter实现 Pig自定义LoadFunc加载和解析...

Global site tag (gtag.js) - Google Analytics