Spring/Hibernate 应用性能优化的7种方法
scjpyy
8年前
<p>对于大多数典型的 Spring/Hibernate 企业应用而言，其性能表现几乎完全依赖于持久层的性能。此篇文章中将介绍如何确认应用是否受数据库约束，同时介绍七种常用的提高应用性能的速成法：</p> <h3><strong>如何确认应用是否受限于数据库</strong></h3> <p>确认应用是否受限于数据库的第一步，是在开发环境中进行测试，并使用 VisualVM 进行监控。VisualVM 是一款包含在 JDK 中的 Java 分析器，在命令行输入 jvisualvm 即可调用。启用 Visual VM 之后，尝试以下步骤：</p> <ul> <li> <p>双击你正在运行的应用</p> </li> <li> <p>选择 Sampler</p> </li> <li> <p>点击 Settings 复选框</p> </li> <li> <p>选择Profile only packages，然后输入下列包：</p> </li> </ul> <p>your.application.packages.*</p> <p>org.hibernate.*</p> <p>org.springframework.*</p> <p>your.database.driver.package, 比如 oracle.*</p> <p>点击 Sample CPU</p> <p>如果应用性能受限于数据库，其 CPU 分析结果看起来会像下图</p> <p style="text-align:center"><img src="https://simg.open-open.com/show/76ec568f80d2604e0d35fe6924521cb7.jpg"></p> <p>我们看到，客户端 Java 进程花在等待数据库从网络中返回结果的时间占56%。</p> <p>看到数据库查询是导致应用运行缓慢的原因，其实是好兆头。Hibernate 反射调用占比32.7%是正常情况，无法进一步优化。</p> <h3><strong>性能调优第一步：定义基准运行</strong></h3> <p>性能调优的第一步是为程序定义基准运行，我们要定义一组能有效执行的输入数据，让程序基准运行与生产环境下的运行差不多。</p> <p>主要的区别在于基准运行的耗时要小很多。作为参考，5到10分钟的执行时间比较不错。</p> <h3><strong>什么是好的基准？</strong></h3> <p>好的基准应该具备以下特征：</p> <ul> <li> <p>功能正确</p> </li> <li> <p>输入数据的种类与生产环境下相似</p> </li> <li> <p>在短时间内执行完毕</p> </li> <li> <p>基准运行的优化方案可以外推至完整运行</p> </li> </ul> <p>定义好的基准是成功解决问题的一半。</p> <h3><strong>什么是不好的基准</strong></h3> <p>例如，通过批量运行处理通讯系统的电话数据记录，选取10000条记录就是错误的做法。</p> <p>原因是：前10000条记录可能多为语音电话，而未知的性能问题可能发生在短信流量的处理过程中。一开始如果基准不够好，就会导致错误的结论。</p> <h3><strong>收集 SQL 日志与查询时间</strong></h3> <p>SQL 查询的执行语句与其执行时间可以通过 log4jdbc等方式收集。详细了解如何使用 log4jdbc 收集 SQL 查询信息，点击文章使用 log4jdbc 优化 Spring/Hibernate 应用 SQL 日志。</p> <p>查询的执行时间是从 Java 客户端收集的，该时间包含查询数据库的来回网络调用。SQL 查询的日志如下：</p> <p>16 avr. 2014 11:13:48 | SQL_QUERY /* insert your.package.YourEntity */ insert into YOUR_TABLE (...) values (...) {executed in 13 msec}</p> <p>预处理语句也是很重要的信息来源，它们常常会透露出常用的查询类型。了解更多的日志讯息，可以查看文章：Hibernate 为什么/在何处使用该 SQL 查询？</p> <h3><strong>通过 SQL 日志可以了解哪些指标？</strong></h3> <p>SQL 日志可以回答下列问题：</p> <ul> <li> <p>哪些是执行过的最慢查询？</p> </li> <li> <p>哪些是最常用的查询？</p> </li> <li> <p>生成主键的耗时是多少？</p> </li> <li> <p>是否有数据适合缓存？</p> </li> </ul> <h3><strong>如何解析 SQL 日志</strong></h3> <p>对于大量的日志文件，最可行的解析方式就是使用命令行工具，该方法的好处是非常灵活，只要写一小段脚本或命令，我们可以抽取出几乎大多数指标。只要你喜欢，任何命令行工具都适用。</p> <p>如何你习惯了 Unix 命令行，bash 或是一个好选择。Bash 也可以在 Windows 工作站使用，Cygwin 或 Git 都包含了 bash 命令行。</p> <h3><strong>常用的速成法</strong></h3> <p>下面介绍的速成法能找出 Spring/Hibernate 应用中常见的性能问题，以及对应的解决方案。</p> <p>速成法1——减少生成主键的代价</p> <p>在插入操作频繁的进程中，主键的生成策略很重要。生成 id 的一种常见方法是使用数据库序列，通常一张表一个 id，从而避免在不同表间进行插入时的冲突。</p> <p>问题在于，如果要插入50条记录，我们希望为了获取这50个 id，可以避免50趟查询数据库的来回网络调用，让 Java 进程不一直等待。</p> <h3><strong>Hibernate 通常如何解决此问题？</strong></h3> <p>Hibernate 提供了优化的 ID 生成器以避免此问题。也即，对于序列，会默认使用 HiLo id 生成器。以下是 HiLo 序列生成器的工作方式：</p> <ul> <li> <p>调用一次序列，获得 1000 (高值)</p> </li> <li> <p>用以下方式计算50个 id</p> </li> </ul> <p>1000 * 50 + 0 = 50000</p> <p>1000 * 50 + 1 = 50001</p> <p>...</p> <p>1000 * 50 + 49 = 50049, 达到低值 (50)</p> <p>为新的高值1001调用序列，依次类推</p> <p>因此一次序列调用，可生成50个键，从而减少数次来回网络调用导致的负担。</p> <p>这些优化的键生成器默认在 Hibernate 4中开启。如要禁用，可将 hibernate.id.new_generator_mappings 设置为 false。</p> <h3><strong>为什么生成主键仍是一个问题？</strong></h3> <p>问题在于，如果你声明键生成策略为 AUTO，且未启用优化的键生成器，那么应用最后会面临大量的序列调用。</p> <p>为了确保启用优化的键生成器，请将键生成策略改为 SEQUENCE 而非 AUTO。</p> <p>@Id</p> <p>@GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "your_key_generator")</p> <p>private Long id;</p> <p>改变设定之后，在插入操作频繁的应用中能看到10%到20%的性能提升，而且几乎没有改动代码。</p> <h3><strong>速成法2——使用 JDBC 批处理 inserts/updates</strong></h3> <p>对于批处理程序，JDBC 驱动程序提供了旨在减少网络来回传输的优化方法：”JDBC batch inserts/updates“。使用该方法后，插入或更新会先在驱动层排队，然后再传送到数据库。</p> <p>当达到阈值后，所有排队的语句都会一次性传给数据库。这可以避免驱动程序逐一传送语句，导致网络来回传送的负担。</p> <p>经过以下配置，就能激活批处理 inserts/updates：</p> <p><prop key="hibernate.jdbc.batch_size">100</prop></p> <p><prop key="hibernate.order_inserts">true</prop></p> <p><prop key="hibernate.order_updates">true</prop></p> <p>仅设置 JDBC 批处理大小并不够。因为 JDBC 驱动程序只会在收到对同一张表 insert/updates 时批处理这些语句。</p> <p>如果收到对一张新表的插入语句，JDBC 驱动程序会先清除对前一张表的批处理语句，然后开始分批处理针对新表的 SQL 语句。</p> <p>Spring Batch 内置了相似的功能。该优化能在插入操作频繁的应用中带来30%到40%的性能提升，而不用改动任何代码行。</p> <h3><strong>速成法3——定期清理 Hibernate 会话</strong></h3> <p>在向数据库添加或修改数据时，Hibernate 会在会话中保留一版已经存在的实体，以防在会话关闭之前这些实体再度被修改。</p> <p>但是，多数情况下，一旦对应的插入操作已经在数据库中完成，我们就可以安心地丢弃那些实体。这会释放 Java 客户端进程中的内存，避免过久的 Hibernate 会话导致的性能问题。</p> <p>这种长久的会话应该尽量避免。但如果出于某种原因不得不使用它们，以下是控制内存消耗的方法：</p> <p>entityManager.flush();</p> <p>entityManager.clear();</p> <p>flush 会触使新实体中的插入语句传送至数据库。clear 则会释放会话中的新实体。</p> <h3><strong>速成法4——减少 Hibernate dirty-checking(脏数据检查) 的代价</strong></h3> <p>Hibernate 内部使用了一种机制用于追踪被修改的实体，名为 dirty-checking。该机制并不基于实体类中的 equals 和 hashcode 方法。</p> <p>Hibernate 尽可能将 dirty-checking 的性能成本保持在最低值，只在需要时使用 dirty-check。但是该机制也有成本，在列数很多的表中该成本尤其可观。</p> <p>在进行任何优化之前，最重要的是使用 VisualVM 测量 dirty-checking 的成本。</p> <p>如何避免 dirty-checking ？</p> <p>dirty-checking 可以通过以下方式禁用：</p> <p>@Transactional(readOnly=true)</p> <p>public void someBusinessMethod() {</p> <p>....</p> <p>}</p> <p>禁用 dirty-checking 的另一种方式是使用 Hibernate 无状态会话，预知详情请查看文档。</p> <h3><strong>速成法5——搜索”坏“查询计划</strong></h3> <p>检查最慢查询列表，看看有没有好的查询计划。最常见的”坏“查询计划包括：</p> <p>全表搜索：通常缺少一个索引或表统计过期时进行全表搜索。</p> <p>全笛卡尔连接：意思是计算多张表的全笛卡尔乘积。检查一下缺少的连接条件，或拆分为几个步骤以简化查询。</p> <h3><strong>速成法6——检查错误的提交间隔</strong></h3> <p>如果你使用批处理程序，提交间隔会对性能造成十倍甚至百倍的影响。</p> <p>请确保提交间隔是符合预期的（对于 Spring 批任务，通常是100到1000之间）。经常，该参数的配置不正确。</p> <h3><strong>速成法7—— 使用二级查询缓存</strong></h3> <p>如果一些数据可以缓存，则可以查看本文了解如何设置 Hibernate 缓存：Hibernate 二级/查询缓存的陷阱。</p> <p>结论</p> <p>解决应用性能问题的关键，在于通过收集一些指标发现当前的瓶颈。</p> <p>没有一些测量指标，往往无法在短时间内找到真正的问题根源。</p> <p>此外，很多典型的数据库驱动应用的性能陷阱，如果一开始就使用了 Spring Batch，就能够避免。</p> <p> </p> <p> </p> <p>来自：https://mp.weixin.qq.com/s?__biz=MzAwNjA3NDMyOA==&mid=2659763070&idx=5&sn=3d2698a02ece4e3c8f647f7935aadaa4&chksm=806e99c9b71910df582ec729f4a74f641edc761fb3040b09a1c0c7e47dc9e7c683e303ca608e&scene=0&key=&ascene=7&uin=&devicetype=android-23&version=26031b31&nettype=WIFI</p> <p> </p>