Java 堆内存溢出梗概分析

   <p>任何使用过基于 Java 的企业级后端应用的软件开发者都会遇到过这种低劣、奇怪的报错，这些报错来自于用户或是测试工程师： java.lang.OutOfMemoryError：Java heap space。</p>    <p>为了弄清楚问题，我们必须返回到算法复杂性的计算机科学基础，尤其是“空间”复杂性。如果我们回忆，每一个应用都有一个最坏情况特征。具体来说，在存储维度方面，超过推荐的存储将会被分配到应用程序上，这是不可预测但尖锐的问题。这导致了堆内存的过度使用，因此出现了"内存不够"的情况。</p>    <p>这种特定情况最糟糕的部分是应用程序不能修复，并且将崩溃。任何重启应用的尝试 - 甚至使用最大内存（-Xmx option）- 都不是长久之计。如果不明白什么导致了堆使用的膨胀或突出，内存使用稳定性（即应用稳定性）就不能保障。于是，什么才是更有效的理解关于内存的编程问题的途径？当内存溢出时，明白应用程序的内存堆和分布情况才能回答这个问题。</p>    <p>在这一前提下，我们将聚焦以下方面：</p>    <ul>     <li> <p>当内存溢出时，获取到 Java 进程中的堆转储。</p> </li>     <li> <p>明白应用程序正在遭遇的内存问题的类型。</p> </li>     <li> <p>使用一个堆分析器，可以使用 <a href="/misc/goto?guid=4958183418501687153" rel="nofollow,noindex">Eclipse MAT</a> 这个优秀的开源项目来分析内存溢出的问题。</p> </li>    </ul>    <h3>配置应用，为堆分析做准备</h3>    <p>任何像内存溢出这种非确定性的、时有时无的问题对于事后的分析都是一个挑战。所以，最好的处理内存溢出的方法是让 JVM 虚拟机转储一份 JVM 虚拟机内存状态的堆文件。</p>    <p>Sun HotSpot JVM 有一种方法可以引导 JVM 转储内存溢出时的堆状态到一个文件中。其标准格式为 .hprof 。所以，为了实现这种操作，向 JVM 启动项中添加 XX:+HeapDumpOnOutOfMemoryError 。因为内存溢出可能经过很长一段时间才会发生，向生产系统增加这一选项也是必须的。</p>    <p>如果堆转储 .hprof 文件必须被写在一个特定的文件系统位置，那么就添加目录途径到 XX:HeapDumpPath 。只需确保该应用对于指定目录途径始终拥有写入权限。</p>    <h3>原因分析</h3>    <p>101：了解内存溢出错误的本质</p>    <p>当尝试去评估和了解一个内存溢出错误时，最先做的事情应该是观察内存增长特征。根据情况做出可能性的评估：</p>    <ul>     <li> <p>尖峰状：这种类型的内存溢出在某种类型的加载上会是比较激烈的。当 JVM 分配内存给 20 个用户时，应用程序可以正常运行。但是，如果到第 100 个用户时可能会遭遇到内存峰值，从而导致内存溢出。有两种可能的办法去解决这个问题。</p> </li>     <li> <p>泄露：由于某些编程问题，内存使用随着时间的推移逐渐增加。</p> </li>    </ul>    <p><img src="https://simg.open-open.com/show/81dcef10fd6d5affbfb0d6e636e4fe79.png"></p>    <p>拥有良性垃圾回收机制的健康图表</p>    <p><img src="https://simg.open-open.com/show/17f0570e9542a1b51ae0d72bb9476234.png"></p>    <p>健康一段时间后，随时间推移而泄露的图表</p>    <p><img src="https://simg.open-open.com/show/ecbc404fa28d590e04f417bae951c2c0.png"></p>    <p>引起内存使用凸起、导致内存溢出的内存图表</p>    <p>在我们了解导致使用率激增的内存问题的本质之后，基于从对分析中得到的推断，下面的这些方法或许可以用来避免遭遇内存溢出的错误。</p>    <h3>解决内存问题</h3>    <ol>     <li> <p>修复引起内存溢出的代码：由于应用在某段时间内增量添加了一个对象而没有清除其引用（来自正在运行的应用程序的对象引用），导致不得不修复程序错误。例如，这一错误可能是插入了一个哈希表, 其中的业务对象会逐渐增加，然而业务逻辑和事务在完成之后并没有删除这些对象。</p> </li>     <li> <p>增加内存最大值作为一种修复方法。在了解了运行内存特征和堆之后，可能必须增加分配的最大堆内存来避免再次发生内存溢出，因为推荐的最大内存值不能够满足应用程序的稳定性。所以，应用程序可能不得不基于堆分析器的评估，将 Java -Xmx 的 flag 信息更新成一个更高值后再来运行。</p> </li>    </ol>    <h3>堆分析</h3>    <p>下面我们将详细分析如何使用一个堆分析工具来分析堆转储。在示例中，将使用到 Eclipse 基金会的开源工具 MAT 。</p>    <p>使用 MAT 进行堆分析</p>    <p>是时候进行深入探讨了。我们将通过一系列的步骤，帮助探索在 MAT 中的不同表现和视图，以获取一个堆内存溢出的示例并思考分析。</p>    <p>1. 打开内存溢出错误发生时产生的 .hprof 堆文件。确保复制转储文件到一个专门的文件夹下，因为 MAT 会创建许多索引文件：文件 -> 打开</p>    <p>2. 打开转储文件，有内存泄漏嫌疑报告和组件报告的选项。选择运行泄漏嫌疑报告。</p>    <p><img src="https://simg.open-open.com/show/02d0e66f2f4e5ad981cb9ce457a78f8a.png"></p>    <p>3. 泄漏嫌疑表打开后，在预览窗口的饼状图会展示在每个对象基础上保留内存的分布情况。它显示了内存中的最大对象（拥有最高保留内存的对象 —— 累积的内存和引用的对象）。</p>    <p>4. 上面的饼图通过聚合拥有最高内存引用（本身内存和总内存）的对象来展示 3 个问题嫌疑人。</p>    <p>让我们逐一分情况查看，评估它是否是内存溢出错误的根本原因。</p>    <p>可疑点 1</p>    <p>由 “<system class loader>” 加载的 454,570 个 “java.lang.ref.Finalizer” 实例占用了 790,205,576（47.96％）个字节。</p>    <p>这就是告诉我们有 454,570 个 JVM finalizer（终结器）实例占据了分配的应用内存的近 50 %。</p>    <p>假设读者知道 Java Finalizer 是做什么的，上面的信息会让我们明白什么呢？</p>    <p>入门阅读： <a href="/misc/goto?guid=4959757478510677722" rel="nofollow,noindex">http://stackoverflow.com/questions/2860121/why-do-finalizers-have-a-severe-performance-penalty</a></p>    <p>本质上，开发者编写了一些定制化的终结器去释放一个实例的资源。这些由终结器收集的实例不在 JVM 使用单独队列的垃圾回收算法的范围之内。实际上，这种途径比起垃圾回收机制的清理路径更长。所以现在我们应该努力搞清楚这些终结器到底终结了什么？</p>    <p>也或许是可疑点 2 ，占据了 20% 的 sun.security.ssl.SSLSocketImpl 。我们能确认是否这些就是要被终结器终结的实例吗？</p>    <p>可疑点 2</p>    <p>现在，让我们打开在 MAT 顶部的工具按钮下面的 Dominator 视图。我们会看到所有的列出的类实例，经由 MAT 解析展示出有效的堆存储。</p>    <p><img src="https://simg.open-open.com/show/556510e567c99be7912178d7c73447a6.png"></p>    <p>下一步，在 Dominator 视图，我们尝试理解 java.lang.Finalizer 和 sun.security.ssl.SSLSocketImpl 之间的关系。我们右键点击 sun.security.ssl.SSLSocketImpl 这一列，打开 GC Roots  -> exclude soft/weak references。</p>    <p><img src="https://simg.open-open.com/show/70826d4f8da583e303e5ca23df4d1490.png"></p>    <p>现在，MAT 将会开始绘制内存的图表来显示 GC root 的路径以及它所对应的实例引用。这会被显示在另外一个页面上，显示的引用如下：</p>    <p><img src="https://simg.open-open.com/show/a54246e95d157e266d8d08c4e61b7081.png"></p>    <p>如上面引用链显示，实例 SSLSocketImpl 来自于 java.lang.ref.Finalizer，整个 SSLSocketImpl 实例大约占用了 88k。我们还注意到 finalizer 链是一个针链表数据结构它指向下一个实例。</p>    <p>推论：在这一点上，我们有一个明确的感觉，Java finalizer 试图在收集 SSLSocketImpl 对象。为了解释为什么还有很多信息没有被收集到，我开始检查代码。</p>    <p>检查代码</p>    <p>代码检查需要查看是不是由 socket 套接字被关闭导致的。在这种情况下，它显示与 I/O 相关的所有流，需要被正确地关闭。在一点上，我们怀疑 JVM 是始作俑者。实际上，在 Open JDK 6.0.XX 的 GC（垃圾收集器）上的代码中有一个 BUG。</p>    <p>我希望这篇文章给你一个模式来分析 Java 应用中的错误是由堆存储还是内部问题导致的。希望你使用堆分析愉快！</p>    <h3>扩展阅读</h3>    <p>Shallow heap (浅堆） vs. Retained Heap (保留堆）</p>    <p>浅堆是一个对象消耗的内存。根据情况，一个对象需要 32 位或 64 位（取决于其操作系统架构），对于整型为 4 字节，对于 Long 型为 8 字节等等。依据堆转储格式，其内存大小（比如，向 8 对齐）或许适应于更好地塑造虚拟机的真实消耗。</p>    <p>X 的保留集合是当 X 被垃圾回收时，那些将要被移除的对象集合。</p>    <p>X 的保留堆是在 X 的保留集合中所有对象的浅堆之和，也就是 X 存留的内存。</p>    <p>总体讲，一个对象的浅堆就是其在堆中的大小。同一个对象的保留大小就是当对象被垃圾回收时堆内存的总量。</p>    <p>一些对象的主要集合，比如某一特定类的所有对象、或是由某一特定类加载器加载的所有类的所有对象、或仅仅是一些任意的对象，它们的保留集是如果那些主要集的所有对象变得不可接近时所释放的对象集。保留集包括这些对象和仅通过这些对象才能获取的其它对象。保留集的大小是包含在保留集中的所有对象的堆的大小。</p>    <p> </p>    <p>来自：https://www.oschina.net/translate/java-out-of-memory-heap-analysis</p>    <p> </p>