JAVA代码覆盖率工具JaCoCo-原理篇
zhangsen
8年前
<h2>总目录</h2> <p>JAVA代码覆盖率工具JaCoCo-原理篇</p> <p>1.2 JAVA覆盖率工具介绍</p> <p>1.3.3 Apache Maven方式</p> <p>1.3.4 Eclipse EclDmma Plugin方式</p> <p>JAVA代码覆盖率工具JaCoCo-实践篇</p> <p>一、覆盖率项目中使用介绍</p> <p>1.5执行测试，收集覆盖率结果文件</p> <p>1.5.1AndroidManifest文件的修改</p> <p>1.5.2生成覆盖率的apk工具和jacoco-cov-sdk.jar包</p> <p>二、覆盖率与BVT测试结合</p> <p>2.1在BVT用例框架中插入覆盖率方法</p> <p>2.2执行BVT用例，得到覆盖率</p> <p>2.3批量生成覆盖率报告，解析入库</p> <p>2.4分析覆盖率结果，得出用例和代码映射关系</p> <p>三、差异覆盖率和全量覆盖率</p> <p>JAVA代码覆盖率工具JaCoCo-踩坑篇</p> <p>1.1 覆盖率包在部分手机6.0上安装失败</p> <p>1.2 覆盖率包在部分4.X版本手机上生成ec文件失败</p> <p>1.3 覆盖率报告生成后看不到源码覆盖情况</p> <p>二、覆盖率一些需要注意的地方</p> <h2>JAVA代码覆盖率工具JaCoCo-原理篇</h2> <h2>1.1 覆盖率定义</h2> <p>作为一个测试人员，保证产品的软件质量是其工作首要目标，为了这个目标，测试人员常常会通过很多手段或工具来加以保证，覆盖率就是其中一环比较重要的环节。</p> <p>我们通常会将测试覆盖率分为两个部分，即“需求覆盖率”和“代码覆盖率”。</p> <p>需求覆盖：指的是测试人员对需求的了解程度，根据需求的可测试性来拆分成各个子需求点，来编写相应的测试用例，最终建立一个需求和用例的映射关系，以用例的测试结果来验证需求的实现，可以理解为黑盒覆盖。</p> <p>代码覆盖：为了更加全面的覆盖，我们可能还需要理解被测程序的逻辑，需要考虑到每个函数的输入与输出，逻辑分支代码的执行情况，这个时候我们的测试执行情况就以代码覆盖率来衡量，可以理解为白盒覆盖。</p> <p>以上两者完全可以相辅相成，用代码覆盖结果反向的检查需求覆盖(用例)的测试是否充分完整。</p> <p>如果做覆盖率测试？我们可以借助一些网上流行的各种覆盖率工具，本章主要介绍JaCoCo这个工具。</p> <h2>1.2 JAVA覆盖率工具介绍</h2> <p>市场上java主要代码覆盖率工具：EMMA、JaCoCo</p> <p>总结一下个人对JaCoCo优势的理解：</p> <p>（1）JaCoCo支持分支覆盖、引入了Agent模式。</p> <p>（2）EMMA官网已经不维护了，JaCoCo是其团队开发的，可以理解为一个升级版。</p> <p>（3）JaCoCo社区比较活跃，官网也在不断的维护更新。</p> <p>我们前期使用的EMMA，也做了全量、差异覆盖率，和精准耦合也结合在了一起，但后来考虑到JaCoCo的优势，也就全部切换了过来。</p> <h3>1.2.1 JaCoCo简述</h3> <p>JaCoCo是一个开源的覆盖率工具(官网地址： <a href="/misc/goto?guid=4959677313927798695" rel="nofollow,noindex">http://www.eclemma.org/JaCoCo/</a> )，它针对的开发语言是java，其使用方法很灵活，可以嵌入到Ant、Maven中；可以作为Eclipse插件，可以使用其JavaAgent技术监控Java程序等等。</p> <p>很多第三方的工具提供了对JaCoCo的集成，如sonar、Jenkins等。</p> <p>JaCoCo包含了多种尺度的覆盖率计数器,包含指令级覆盖(Instructions,C0coverage)，分支（Branches,C1coverage）、圈复杂度(CyclomaticComplexity)、行覆盖(Lines)、方法覆盖(non-abstract methods)、类覆盖(classes)，后面会一一介绍。</p> <p>我们先看看其覆盖率结果展现如下图1-1所示，方便读者先有一个大概的了解。</p> <p><img src="https://simg.open-open.com/show/7da74467171e995917a40a62f3a48fe1.png"></p> <p>图1-1 覆盖率报告结果部分截图</p> <p>标示绿色的为行覆盖充分，标红色的为未覆盖的行，黄色菱形的为分支部分覆盖，绿色菱形为分支完全覆盖。</p> <p>通过这个报告的结果就可以知道代码真实的执行情况，便于我们分析评估结果。</p> <h3>1.2.2 JaCoCo基本概念</h3> <p>行覆盖率：度量被测程序的每行代码是否被执行，判断标准行中是否至少有一个指令被执行。</p> <p>类覆盖率：度量计算class类文件是否被执行。</p> <p>分支覆盖率：度量if和switch语句的分支覆盖情况，计算一个方法里面的总分支数，确定执行和不执行的 分支数量。</p> <p>方法覆盖率：度量被测程序的方法执行情况，是否执行取决于方法中是否有至少一个指令被执行。</p> <p>指令覆盖：计数单元是单个java二进制代码指令，指令覆盖率提供了代码是否被执行的信息，度量完全 独立源码格式。</p> <p>圈复杂度：在（线性）组合中，计算在一个方法里面所有可能路径的最小数目，缺失的复杂度同样表示测 试案例没有完全覆盖到这个模块。</p> <h3>1.2.3 JaCoCo 原理</h3> <p>1.注入方式介绍</p> <p><img src="https://simg.open-open.com/show/0c91a22ba851c3e68db54dfb867f949c.png"></p> <p>这个图包含了几种不同的收集覆盖率信息的方法，每种方法的实现方法都不一样，带颜色的部分是JaCoCo比较有特色的地方。</p> <p>上面各个名次含义（带颜色的为JaCoCo支持）：</p> <p><img src="https://simg.open-open.com/show/4b70e1baf021ab481db186dd131669e0.png"></p> <p>上表JaCoCo支持的部分，再详细的解释下：</p> <p>（1）JaCoCo在Byte Code时使用的ASM技术修改字节码方法，可以修改Jar文件、class文件字节码文件。</p> <p>（2）JaCoCo同时支持on-the-fly和offline的两种插桩模式。</p> <p>On-the-fly插桩：</p> <p>JVM中通过-javaagent参数指定特定的jar文件启动Instrumentation的代理程序，代理程序在通过Class Loader装载一个class前判断是否转换修改class文件，将统计代码插入class，测试覆盖率分析可以在JVM执行测试代码的过程中完成。</p> <p>Offline模式：</p> <p>在测试前先对文件进行插桩，然后生成插过桩的class或jar包，测试插过桩 的class和jar包后，会生成动态覆盖信息到文件，最后统一对覆盖信息进行处理，并生成报告。</p> <p>On-the-fly和offline比较：</p> <p>On-the-fly模式更方便简单进行代码覆盖分析，无需提前进行字节码插桩，无需考虑classpath 的设置。</p> <p>存在如下情况不适合on-the-fly，需要采用offline提前对字节码插桩：</p> <p>（1）运行环境不支持java agent。</p> <p>（2）部署环境不允许设置JVM参数。</p> <p>（3）字节码需要被转换成其他的虚拟机如Android Dalvik VM。</p> <p>（4）动态修改字节码过程中和其他agent冲突。</p> <p>（5）无法自定义用户加载类。</p> <p>2.JaCoCo执行最小的java版本</p> <p>最小需要Java1.5</p> <p>3.字节码处理方式</p> <p>JaCoCo通过注入来修改和生成java字节码，使用的是ASM库。</p> <p>4.java方法控制流分析</p> <p>JaCoCo是如何在字节码注入的？</p> <p>我们带着疑问来看下面的内容：</p> <p>先举个实例，有个java方法：</p> <p><img src="https://simg.open-open.com/show/d6365055baa56c8083ff14df7e0205ea.png"></p> <p>编译后转换成字节码后，内容如下：</p> <p><img src="https://simg.open-open.com/show/32e302005e72732547e8dcfeeea1e05c.png"></p> <p>我们知道JaCoCo是字节码注入方式，它是通过一个Probe探针的方式来注入的，具体如下：</p> <p>探针是字节指令集插入到java方法中，程序执行后可以被记录，它不会改变原有代码的行为。</p> <p>我们看看探针前后插入比较：</p> <p><img src="https://simg.open-open.com/show/a46b1864e1f9126ec8828888651a242b.png"></p> <p>颜色的部分就是探针注入的地方。</p> <p>JaCoCo是根据控制流Type来采用不同的探针插入策略的。</p> <p>一个用java字节码定义的java方法的控制流图可能有以下的type，每一个type连接一个源指令与目标指令,type不同探针的注入策略也会不同，如下是type定义：</p> <p><img src="https://simg.open-open.com/show/966af19b26898fc31d29f42ea245ea25.png"></p> <p>探针不改变该方法的行为，但记录他们已被执行的事实，从理论上讲，可以在控制流图的每一个边插入一个探针，作为探针实现本身需要多个字节码指令，这将增加几倍的类文件的大小和执行速度。</p> <p>事实上，只需要一个几个探头，根据每个方法的控制流的方法，下面说明了如何在不同的边缘类型的情况下添加额外的指令：</p> <p><img src="https://simg.open-open.com/show/57776ff61d6d4cc05c0b30e70d57e4d1.png"></p> <p><img src="https://simg.open-open.com/show/d0f1be71aeacc53b3d0b2d83384272c7.png"></p> <p>一个instrumented class可以用以下代码检索其探针数组实例：</p> <p><img src="https://simg.open-open.com/show/b97dc2dec331b73482d88ddcf4a017b2.png"></p> <p>JaCoCo是用一个布尔数组来实现探针，每个探针对应于该数组中的项。当以下四个字节码指令触发时探针进行输入设置为true：</p> <p><img src="https://simg.open-open.com/show/3b1e0940efd4545b1702d665d0b03674.png"></p> <p>JaCoCo对行探针是这样处理的，添加两行指令之间的一个额外的探针时，后续行至少包含一个方法调用。</p> <p>以上是JaCoCo插桩原理，如果想深入了解，可以去看看它的源码实现。</p> <h3>1.3 JaCoCo使用方式</h3> <p>使用方式有很多，这里贴出了相应的参考链接，根据项目的不同可以灵活供有需要的读者去学习。</p> <p>1.3.1 Apache Ant方式</p> <p>参见 <a href="/misc/goto?guid=4959677314017810123" rel="nofollow,noindex">http://eclemma.org/jacoco/trunk/doc/ant.html</a></p> <p>主要有以下几种，具体使用就不介绍了，应用宝是用的这种方式，后续有介绍。</p> <p>Task coverage、Task agent、Task dump、Task merge、Task report、Task instrument</p> <p>1.3.2 命令行方式</p> <p>参见 <a href="/misc/goto?guid=4959677314114657486" rel="nofollow,noindex">http://www.eclemma.org/jacoco/trunk/doc/agent.html</a></p> <p>使用方式说明：</p> <p><img src="https://simg.open-open.com/show/1e5bdaa2c469941ae9d4f8d46b2a6349.png"></p> <p>主要放在JAVA_OPTS中，比如：</p> <p><img src="https://simg.open-open.com/show/1833c9899febe21baf6473ca0db55562.png"></p> <p>由AgentOptions的getVMArgument方法加载，各参数入AgentOptions的对应参数，为后续操作做为输入。</p> <p><img src="https://simg.open-open.com/show/704b33ba38d412372166db7dd2642663.png"></p> <p>下面是官网的所有参数说明：</p> <p><img src="https://simg.open-open.com/show/ed259579935c6ec320213949b4bff601.png"></p> <p>系统在jvm停止的时候会dump覆盖率信息。</p> <p>关键的核心代码在这里，Agent.java在有一段代码</p> <p><img src="https://simg.open-open.com/show/e7345beb06283d65265d642482fff5c7.png"></p> <p>Runtime.getRuntime().addShutdownHook这个方法的意思就是在jvm中增加一个关闭的钩子，当jvm关闭的时候，会执行系统中已经设置的所有通过方法addShutdownHook添加的钩子，当系统执行完这些钩子后，jvm才会关闭。所以这些钩子可以在jvm关闭的时候进行内存清理、对象销毁等操作。</p> <p>也就是在JVM关闭的时候调用agent.shutdown()，也就是写覆盖率数据。</p> <p><img src="https://simg.open-open.com/show/0aaa1b66007edffbaac0713a548245a0.png"></p> <p>1.3.3 Apache Maven方式</p> <p>参见 <a href="/misc/goto?guid=4959677314205620418" rel="nofollow,noindex">http://www.eclemma.org/jacoco/trunk/doc/maven.html</a></p> <p>这种方式适合Maven的项目。</p> <p>下面简单说下调用方式原理：</p> <p>就拿官方的Offline Example来说吧，其内容如下：</p> <p><img src="https://simg.open-open.com/show/a6df1da8a4546e7483c99f5ca66b427e.png"></p> <p>注意蓝色的部分，上面的配置主要做了以下几个事情：</p> <p>（1）项目已jar包方式打包，引入junit和jacoco。</p> <p>（2）Build时执行instrument、report、check。</p> <p>（3）覆盖率生成到target/jacoco.exec</p> <p>我们看看他是怎么触发调用的。</p> <p>在jacoco源码中：jacoco-maven-plugin\target\classes\META-INF\maven\org.jacoco\jacoco-maven-plugin目录下有个plugin-help.xml文件，它里面标明了具体的调用方式。</p> <p>截出instrument这段，关键地方就是下面蓝色部分。</p> <p><img src="https://simg.open-open.com/show/6dbc622bcf1aef5b8c348275424f04da.png"></p> <p>官网上关于参数的说明：</p> <p><img src="https://simg.open-open.com/show/73762b6540745714687ca6a37ed48753.png"></p> <p>给出一个整理后的表格：</p> <p><img src="https://simg.open-open.com/show/a0bacc01b438cd78b51f4ce24d6bd696.png"></p> <p>再给一个jacoco的maven部分的代码目录：</p> <p><img src="https://simg.open-open.com/show/e385baa7302f86e4b4987c8f8b4fc0c0.png"></p> <p>到这里，大家应该清楚其调用的方式了吧。</p> <p>1.3.4 Eclipse EclDmma Plugin方式</p> <p>具体步骤如下：</p> <p>（1）在Eclipse菜单中选择Help → Install New Software…</p> <p>（2）在安装弹框中输入http://update.eclemma.org/，勾选出现的版本。</p> <p><img src="https://simg.open-open.com/show/22663081312c876ba25de7953440f9cf.png"></p> <p>（3）核对版本，点击Next。</p> <p>（4）根据向导完成安装。</p> <p>（5）使用就不说了。</p> <p>1.3.5 与Jekins集成</p> <p>（1）先要在jenkins上安装JaCoCo的插件，安装完成之后在job的配置项中可以增加这个选项(如图1-2)：</p> <p><img src="https://simg.open-open.com/show/a79444a1b5a1244a8810b256b5e9598f.png"></p> <p>图1-2</p> <p>（2）选择后出现(图1-3)：</p> <p><img src="https://simg.open-open.com/show/7f58248ba3158ce96a748b8a9ebfd58f.png"></p> <p>图1-3</p> <p>第一个录入框是你的覆盖率文件（exec），第二个是class文件目录，第三个是源代码文件目录。</p> <p>（3）配置好了之后进行构建，构建完成之后job首页就会出现覆盖率的趋势图(图1-4)，鼠标点击趋势图可以看到覆盖率详情（图1-5） ，包括具体覆盖率数据和源码的覆盖率情况：</p> <p><img src="https://simg.open-open.com/show/2bc72ff2fe858c8a533ceb2eeff0ff96.png"></p> <p>图1-4 趋势图</p> <p><img src="https://simg.open-open.com/show/07f51648a1227af7e868e346d6908e52.png"></p> <p>图1-5 覆盖率详情</p> <p>未完待续：</p> <p>JaCoCo原理篇就介绍到这里了，后续还有项目实践篇和踩坑篇，实践篇主要介绍下JaCoCo在实际业务中的使用情况，踩坑篇里面包含了几个当时遇到的比较棘手的问题的解决思路,有兴趣的童鞋请关注。</p> <p>本章完~</p> <p> </p> <p>来自：http://tmq.qq.com/2016/08/java-code-coverage-tools-jacoco-principle/</p> <p> </p>