Java性能调优之容器扩容问题

hiiyep 8年前
   <p>在Java和Android编程中,我们经常使用类似ArrayList,HashMap等这些容器。这些容器少则存储几条,多则上千甚至更多。作为性能调优的一部分,容器调优往往被我们忽略,本文将尝试探索阐述一些关于容器调优中的扩容问题。虽然以Java为例,但是也同样适用于其他编程语言。</p>    <p>首先以我们最常用的ArrayList为例,它是一个基于数组的List实现。</p>    <pre>  <code class="language-java">public static void main(String[] args) {      ArrayList<Object> collection = new ArrayList();      for (int i = 0; i< 1000; i++) {          collection.add(new Object());      }  }  </code></pre>    <p>以上代码很简单,不用赘述。那我们使用NetBeans的profile插件 来看一下关于Object对象分配的stacktrace</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/433032c6413a448d308dc7396addd2a4.png"></p>    <p>从stacktrace中,我们可以发现</p>    <ul>     <li>Object对象trace始于ArrayList.add方法</li>     <li>经过了一个叫做ArrayList.grow方法</li>    </ul>    <p>以上我们可以推断,ArrayList对象发生了扩容操作。因为使用无参的构造方法,会初始化一个存储容量为0的数组。</p>    <p>如下代码为ArrayList的构造方法</p>    <pre>  <code class="language-java">private static final Object[] DEFAULTCAPACITY_EMPTY_ELEMENTDATA = {};  public ArrayList(int initialCapacity) {      if (initialCapacity > 0) {          this.elementData = new Object[initialCapacity];      } else if (initialCapacity == 0) {          this.elementData = EMPTY_ELEMENTDATA;      } else {          throw new IllegalArgumentException("Illegal Capacity: " + initialCapacity);      }  }      public ArrayList() {      this.elementData = DEFAULTCAPACITY_EMPTY_ELEMENTDATA;  }  </code></pre>    <p>然而想要容量1000个Object实例,这个过程中则需要不断的扩容,在这个过程中发生了以下几点</p>    <ul>     <li>确定新的容量,并以新容量为大小创建新的数组</li>     <li>将旧数组的数据拷贝到新数组中</li>     <li>旧的数组将会后续被GC回收掉</li>    </ul>    <p>除此之外,扩容还会增加CPU高速缓存的 <strong>未</strong> 命中率。因为</p>    <p>在JVM中,一般来说,由于对象和其字段常常都需要同时引用,将对象和其字段尽可能放在内存中相邻位置能够减少CPU高速缓存的未命中率。</p>    <p>而ArrayList扩容后的新数组可能不在于该对象相邻,所以扩容理论上会增加CPU高速缓存的未命中率。</p>    <p>注意:上面提到的都是CPU高速缓存的未命中率,不是命中率。</p>    <h2>更容易扩容的HashMap</h2>    <p>HashMap作为一个高效的key-value的容器,内部也维护了一个Entry数组,也存在扩容的问题。</p>    <p>然而,HashMap为了更加有效的避免数组冲突,引入了两个概念。</p>    <ul>     <li>threshold 阈(yu,四声)值,当内部数据占用量超过这个值,进行扩容。</li>     <li>loadFactor 通常为0.75,用来计算threshold值,即threshold = 容量 * loadFactor</li>    </ul>    <p>举个例子</p>    <ul>     <li>创建一个HashMap设置初始化容量为16,使用默认的loadFactor 0.75,即threshold为12</li>     <li>然后不断的填充key,value数据</li>     <li>当内部数据占用量超过12时,就会触发扩容操作,而不是等到16的时候。</li>     <li>通常的扩容为双倍扩容,即变成原来的两倍,这里为32.</li>    </ul>    <p>因此说HashMap更容易触发扩容,但是这其实是一种在hash与容量占用的一种平衡。</p>    <h2>如何解决或者改善扩容问题</h2>    <h3>使用预设较为合理的初始容量</h3>    <p>SQLiteDatabase提供了方便的ContentValues简化了我们处理列名与值的映射,ContentValues内部采用了HashMap来存储Key-Value数据,ContentValues的初始容量是8,如果当添加的数据超过8之前,则会进行双倍扩容操作,</p>    <p>因此建议对ContentValues填入的内容进行估量,根据实际需要的字段数量,设置合理的初始化数量。</p>    <h3>尝试使用其他非基于数组的数据结构</h3>    <p>数组的一大优点就是随机访问很高效,这是链表所无法匹敌的。</p>    <p>但是并不是所有的时候都数组都有明显优势</p>    <ul>     <li>不需要随机访问或者数据量很小</li>     <li>在频繁的增加和删除数据的时候,链表有明显的优势。</li>    </ul>    <p>一些替代方案</p>    <ul>     <li>对于List,可以考虑使用LinkedList</li>     <li>对于Map,可以考虑使用TreeMap</li>     <li>关于替代HashMap,Android引入了一个叫做ArrayMap的类,用来解决HashMap内存占用的问题。</li>    </ul>    <p>关于扩容的问题就是以上内容,当我们无论是使用任何数据结构时都需要考虑到具体的环境和需要,确保能够做到最优。</p>    <p> </p>    <p>来自:http://droidyue.com/blog/2017/03/05/java-performance-tuning-collection-size-growth/</p>    <p> </p>