MapReduce 单元测试框架 MRUnit 0.5-incubating 发布

     <div>     MRUnit是由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架，基本原理是JUnit4和 EasyMock。MR就是Map和Reduce的缩写。MRUnit框架非常精简，其核心的单元测试依赖于JUnit。而且MRUnit实现了一套 Mock对象来控制OutputCollector的操作，从而可以拦截OutputCollector的输出，和我们的期望结果进行比较，达到自动断言 的目的。    </div>    <div>     <strong><br /> </strong>    </div>    <div>     有了MRUnit，对MR程序做重构的时候，只要明确输入和输出，就可以写出单元测试，并且在放到群集校验前进行试验，从而节省时间和资源，也 能更快的定位到问题。而进行重构的话，只要写得足够详细的单元测试都是绿色的话，那么基本就可以保证在群集运行的结果也是正常的。    </div>    <div>     <strong><br /> </strong>    </div>    <div>     MRUnit不在Apache标准的Hadoop的发行版中，而是在Couldera公司的增强版本中hadoop- 0.20.1+133.tar.gz的contrib\mrunit\hadoop-0.20.1+169.56-mrunit.jar，已经贴在附件 中。只要把它和Junit4的jar添加到Hadoop程序项目的classpath中，就可以使用MRUnit了。    </div>    <div>     MRUnit包含四种 Driver：MapDriver，ReduceDriver，MapReduceDriver，PipelineMapReduceDriver。可以 根据自己的需要选择合适的Driver。    </div>    <div>     <strong><br /> </strong>    </div>    <div>     给出一个Reduce的很简单例子，Reduce的逻辑就是把Value中的各个值相加。     <pre class="brush:java; toolbar: true; auto-links: false;">    public class ExtractKeywordTest {      private Reducer<Text, Text, Text, Text> reducer;      private ReduceDriver<Text, Text, Text, Text> reduceDriver;      @Before      public void setUp() throws Exception {      reducer = new ExtractKeywordAcookie.Reduce();      reduceDriver = new ReduceDriver<Text, Text, Text, Text>(reducer);      }      @Test      public void testReduce() {      List<Text> values = new ArrayList<Text>();      values.add(new Text(1.0_0.1));      values.add(new Text(2.0_0.2));      values.add(new Text(3.0_0.3));      reduceDriver.withInput(new Text(20100106_00_IBM), values)      .withOutput(new Text(20100106_00_IBM_6.00_0.60_), null)      .runTest();      }</pre>    </div> 这是 Apache MRUnit 的第一次发布的版本，MRUnit 是帮助开发者做 Apache Hadoop MapReduce 任务单元测试的 Java 库。    <br />    <br /> 下载地址：    <br />    <a href="/misc/goto?guid=4958201580366205625" target="_blank">http://www.apache.org/dyn/closer.cgi/incubator/mrunit/</a>    <br />    <br /> 完整改进记录：    <br />    <a href="/misc/goto?guid=4958201581119687243" target="_blank">https://issues.apache.org/jira/browse/MRUNIT/fixforversion/12316328</a>