`
run_xiao
  • 浏览: 192342 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

mrunit扩展

Mapreduce单元测试 
阅读更多

MRUnit是一个对MapReduce开发做单元测试很不错的工具，但令人不太爽的，MapReduce应用基本都是处理大量数据的应

 

用，而MRUnit居然不支持从文件中load测试的输入和输出数据，要在代码中构造一坨一坨数据，实在令人不快。

 

昨天花了大半天的时间，扩展了一下mrunit的MapReduceDriver，可以方便的将测试输入和输出放在同一文件中，基本满足

 

了一般情况下的单元测试的需要，这样就不用在测试代码中构造一堆恶心的String了.

 

-------------------------------------------------------------------------------------------------------

 

最近又做了些小小改进，增加了对secondary sort的支持，用起来还不错咧

分享到：
| 做还是不做，是个问题
评论
1 楼 swingfly 2012-02-28  
能共享一下关于支持secondary sort，修改后的代码吗？
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    mrunit-1.1.0-hadoop2

    mrunit mrunit mrunit mrunit

    Mrunit-1.1.0-hadoop2

    apache-mrunit-1.1.0-hadoop2-bin和apache-mrunit-1.1.0-hadoop1-bin包括mrunit-1.1.0-hadoop2.jar

    mrunit-1.1.0-hadoop2.jar

    MRUnit测试支持JAR包，它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。MRUnit与标准的执行框架（JUnit）一起使用。

    apache-mrunit-1.1.0-hadoop2-bin.tar

    支持MapReduce MRUnit单元测试包,支持MapReduce MRUnit单元测试包

    hadoop-0.21.0-mrunit.jar

    hadoop-0.21.0-mrunit.jar

    mrunit-1.1.0.jar

    hadoop本地测试的jar包 ,mrunit-1.1.0-hadoop2.jar,使用后可在本地进行MapReduce代码测试

    Hadoop MRUnit测试

    Hadoop MRUnit测试 工程用Maven构建，详细过程参见本人博客Maven构建一文

    hadoop-mrunit-0.20.2-cdh3u4.jar

    用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar

    apache-mrunit-1.1.0-hadoop2-bin.tar.gz

    官网下载的Hadoop2的单元测试工具apache-mrunit-1.1.0-hadoop2-bin.tar.gz，用法跟JUnit相似，需要的朋友拿走

    hadoop单元测试方法--使用和增强MRUnit.docx

    hadoop单元测试方法--使用和增强MRUnit.docx

    mrunit测试插件

    非常好用测试插件,在mapReduce下直接可以运行,本人亲测成功

    HadoopMRunit_Winutils

    hadoop mrunit调试和winutils本地、远程调试。对应博客地址：http://blog.xiaoxiaomo.com/2016/05/20/Idea-Eclipse-Windows下调试Hadoop/

    HadoopMapReduce作业的单元测试

    这篇文章是运用MRUnit，Mockito和PowerMock的真实范例。我会介绍1.使用MRUnit来编写HadoopMapReduce应用程序的JUnit测试2.使用PowerMock和Mockito模拟静态方法3.模拟其他类型中的业务逻辑（译注：也就是编写测试驱动...

    hadoop权威指南 第三版 英文版

    Pig, Hive, Sqoop, and ZooKeeper这几个框架的最新版的特性和修改都有扩展介绍。 这本书还有许多修改和提高。 原文： Third Edition The third edition is due to be published in May 2012. You can pre-...

    Spark集成到企业大数据堆栈的成功和挑战

    Konstantin Boudnik是WANdisco大数据工程总监，负责提供公司的企业级NonStop服务器的Hadoop解决方案，ASF的Hadoop、MRUnit提交者、ASF Bigtop的合著者、Spark/Shark贡献者。此次Spark峰会上 Konstantin Boudnik介绍...

    mapreduce_training:用于教学目的的MapReduce应用程序集

    具有MRUnit测试的MapReduce WordCount应用程序 字符串对的MapReduce自定义可写实现 MapReduce自定义InputFormat和RecordReader实现 MapReduce自定义OutputFormat和RecordWriter实现 Pig自定义LoadFunc加载和解析...

    HadoopMapReduce开发最佳实践

    本文是Hadoop最佳实践系列第二篇，上一篇为《Hadoop管理员的十个最佳实践》。MapRuduce开发对于大多数程序员都会觉得略显复杂，...但Hadoop的Committer早已经考虑到这些问题，从而开发了ToolRunner、MRunit（MapRedu

    LogAnalyzer:Apache日志分析器

    java” 单元测试路径： “ src / test / java” 样本输入日志文件路径： “输入” 样本输出路径： “已排序”特征LogAnalyzer的开发目的是演示以下功能： 编写MapReduce Java程序使用柜台使用排序比较器使用MRUnit ...

Magicbox
Global site tag (gtag.js) - Google Analytics