Nginx源码剖析之内存池，与内存管理
fmms
13年前
<h3>引言 </h3> <p> Nginx（发音同 engine x）是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发，最初供俄国大型的入口网站及搜寻引擎Rambler（俄文：Рамблер）使用。 </p> <p> 其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，目前中国大陆使用nginx网站用户有：新浪、网易、 腾讯，另外知名的微网志Plurk也使用nginx，以及诸多暂不曾得知的玩意儿。<br /> </p> <p> 读者可以到此处下载Nginx最新版本的源码：<a href="/misc/goto?guid=4958333008375989391" rel="nofollow" target="_blank">http://nginx.org/en/download.html</a>。同时，本文本不想给源码太多注释，因为这不像讲解算法，算法讲解的越通俗易懂越好，而源码剖析则不同，缘由在于不同的读者对同一份源码有着不同的理解，或深或浅，所以，更多的是靠读者自己去思考与领悟。</p> <p> ok，本文之中有任何疏漏或不正之处，恳请批评指正。谢谢。</p> <h3>Nginx源码剖析之内存池<br /> </h3> <h3>1、内存池结构</h3> <p> 内存相关的操作主要在文件 os/unix/ngx_alloc.{h,c} 和 core/ngx_palloc.{h,c} 中实现，ok，咱们先来看内存管理中几个主要的数据结构：<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">typedef</span></strong></span> <span><strong><span style="color:#006699;">struct</span></strong></span> { <span><span style="color:#008200;">//内存池的数据结构模块 </span></span> </li> <li> u_char *last; <span><span style="color:#008200;">//当前内存分配结束位置，即下一段可分配内存的起始位置 </span></span> </li> <li> u_char *end; <span><span style="color:#008200;">//内存池的结束位置 </span></span> </li> <li> ngx_pool_t *next; <span><span style="color:#008200;">//链接到下一个内存池，内存池的很多块内存就是通过该指针连成链表的 </span></span> </li> <li> ngx_uint_t failed; <span><span style="color:#008200;">//记录内存分配不能满足需求的失败次数 </span></span> </li> <li>} ngx_pool_data_t; <span><span style="color:#008200;">//结构用来维护内存池的数据块，供用户分配之用。</span></span> </li> </ol> </div> <p></p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">struct</span></strong></span> ngx_pool_s { <span><span style="color:#008200;">//内存池的管理分配模块 </span></span> </li> <li> ngx_pool_data_t d; <span><span style="color:#008200;">//内存池的数据块（上面已有描述），设为d </span></span> </li> <li> <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> max; <span><span style="color:#008200;">//数据块大小，小块内存的最大值 </span></span> </li> <li> ngx_pool_t *current; <span><span style="color:#008200;">//指向当前或本内存池 </span></span> </li> <li> ngx_chain_t *chain; <span><span style="color:#008200;">//该指针挂接一个ngx_chain_t结构 </span></span> </li> <li> ngx_pool_large_t *large; <span><span style="color:#008200;">//指向大块内存分配，nginx中，大块内存分配直接采用标准系统接口malloc </span></span> </li> <li> ngx_pool_cleanup_t *cleanup; <span><span style="color:#008200;">//析构函数，挂载内存释放时需要清理资源的一些必要操作</span></span> </li> <li> ngx_log_t *log; <span><span style="color:#008200;">//内存分配相关的日志记录 </span></span> </li> <li>}; </li> </ol> </div> <p>再来看看大块数据分配的结构体：<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">struct</span></strong></span> ngx_pool_large_s { </li> <li> ngx_pool_large_t *next; </li> <li> <span><strong><span style="color:#006699;">void</span></strong></span> *alloc; </li> <li>}; </li> </ol> </div> <p>其它的数据结构与相关定义：<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">typedef</span></strong></span> <span><strong><span style="color:#006699;">struct</span></strong></span> { </li> <li> ngx_fd_t fd; </li> <li> u_char *name; </li> <li> ngx_log_t *log; </li> <li>} ngx_pool_cleanup_file_t; </li> </ol> </div> <p></p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><span style="color:#808080;">#define NGX_MAX_ALLOC_FROM_POOL (ngx_pagesize - 1) //在x86体系结构下，该值一般为4096B，即4K</span></span> </li> </ol> </div> <p></p> <p>上述这些数据结构的逻辑结构图如下：</p> <p><img style="width:697px;height:445px;" alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/9b8d60968c9246900bf3e783af14e5b5.jpg" /><br /> </p> <p><strong>1.1、ngx_pool_t的逻辑结构</strong></p> <p> 再看一下用UML绘制的ngx_pool_t的逻辑结构图：</p> <blockquote> <p><img alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/f36403511f4b974a8811e909fba5d98f.jpg" width="607" height="304" /></p> </blockquote> <p> 在下一节，我们将会深入分析内存管理的主要函数。<br /> </p> <h3>Nginx源码剖析之内存管理</h3> <h3><strong>2、内存池操作</strong></h3> <p><strong>2.1、创建内存池</strong></p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li>ngx_pool_t * </li> <li>ngx_create_pool(<span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size, ngx_log_t *log) </li> <li>{ </li> <li> ngx_pool_t *p; </li> <li> </li> <li> p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log); </li> <li> <span><span style="color:#008200;">//ngx_memalign()函数执行内存分配，该函数的实现在src/os/unix/ngx_alloc.c文件中（假定NGX_HAVE_POSIX_MEMALIGN被定义）： </span></span> </li> <li> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (p == NULL) { </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NULL; </li> <li> } </li> <li> </li> <li> p->d.last = (u_char *) p + <span><strong><span style="color:#006699;">sizeof</span></strong></span>(ngx_pool_t); </li> <li> p->d.end = (u_char *) p + size; </li> <li> p->d.next = NULL; </li> <li> p->d.failed = 0; </li> <li> </li> <li> size = size - <span><strong><span style="color:#006699;">sizeof</span></strong></span>(ngx_pool_t); </li> <li> p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL; </li> <li> <span><span style="color:#008200;">//最大不超过4095B，别忘了上面NGX_MAX_ALLOC_FROM_POOL的定义 </span></span> </li> <li> </li> <li> p->current = p; </li> <li> p->chain = NULL; </li> <li> p->large = NULL; </li> <li> p->cleanup = NULL; </li> <li> p->log = log; </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> p; </li> <li>} </li> </ol> </div> <p></p> <p> 例如，调用ngx_create_pool(1024, 0x80d1c4c)后，创建的内存池物理结构如下图：</p> <blockquote> <blockquote> <p><img alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/d80daff4df9480a83284158bc3c6f6c6.jpg" width="305" height="444" /></p> </blockquote> </blockquote> <p> 紧接着，咱们就来分析下上面代码中所提到的：ngx_memalign()函数。<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">void</span></strong></span> * </li> <li>ngx_memalign(<span><strong><span style="color:#2e8b57;">size_t</span></strong></span> alignment, <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size, ngx_log_t *log) </li> <li>{ </li> <li> <span><strong><span style="color:#006699;">void</span></strong></span> *p; </li> <li> <span><strong><span style="color:#2e8b57;">int</span></strong></span> err; </li> <li> </li> <li> err = posix_memalign(&p, alignment, size); </li> <li> <span><span style="color:#008200;">//该函数分配以alignment为对齐的size字节的内存大小，其中p指向分配的内存块。 </span></span> </li> <li> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (err) { </li> <li> ngx_log_error(NGX_LOG_EMERG, log, err, </li> <li> <span><span style="color:#0000ff;">"posix_memalign(%uz, %uz) failed"</span></span>, alignment, size); </li> <li> p = NULL; </li> <li> } </li> <li> </li> <li> ngx_log_debug3(NGX_LOG_DEBUG_ALLOC, log, 0, </li> <li> <span><span style="color:#0000ff;">"posix_memalign: %p:%uz @%uz"</span></span>, p, size, alignment); </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> p; </li> <li>} </li> <li><span><span style="color:#008200;">//从这个函数的实现体，我们可以看到p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log);</span></span> </li> <li><span><span style="color:#008200;">//函数分配以NGX_POOL_ALIGNMENT字节对齐的size字节的内存，在src/core/ngx_palloc.h文件中：</span></span> </li> </ol> </div> <p></p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><span style="color:#808080;">#define NGX_POOL_ALIGNMENT 16</span></span> </li> </ol> </div> <p></p> <p> 因此，nginx的内存池分配，是以16字节为边界对齐的。</p> <p><strong>2.1、销毁内存池</strong><br /> 接下来，咱们来看内存池的销毁函数，pool指向需要销毁的内存池<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">void</span></strong></span> </li> <li>ngx_destroy_pool(ngx_pool_t *pool) </li> <li>{ </li> <li> ngx_pool_t *p, *n; </li> <li> ngx_pool_large_t *l; </li> <li> ngx_pool_cleanup_t *c; </li> <li> </li> <li> <span><strong><span style="color:#006699;">for</span></strong></span> (c = pool->cleanup; c; c = c->next) { </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (c->handler) { </li> <li> ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, </li> <li> <span><span style="color:#0000ff;">"run cleanup: %p"</span></span>, c); </li> <li> c->handler(c->data); </li> <li> } </li> <li> } </li> <li> <span><span style="color:#008200;">//前面讲到，cleanup指向析构函数，用于执行相关的内存池销毁之前的清理工作，如文件的关闭等， </span></span> </li> <li> <span><span style="color:#008200;">//清理函数是一个handler的函数指针挂载。因此，在这部分，对内存池中的析构函数遍历调用。 </span></span> </li> <li> </li> <li> <span><strong><span style="color:#006699;">for</span></strong></span> (l = pool->large; l; l = l->next) { </li> <li> ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, <span><span style="color:#0000ff;">"free: %p"</span></span>, l->alloc); </li> <li> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (l->alloc) { </li> <li> ngx_free(l->alloc); </li> <li> } </li> <li> } </li> <li> <span><span style="color:#008200;">//这一部分用于清理大块内存，ngx_free实际上就是标准的free函数， </span></span> </li> <li> <span><span style="color:#008200;">//即大内存块就是通过malloc和free操作进行管理的。 </span></span> </li> <li> </li> <li><span><span style="color:#808080;">#if (NGX_DEBUG) </span></span> </li> <li> </li> <li> <span><span style="color:#008200;">/**</span></span> </li> <li><span><span style="color:#008200;"> * we could allocate the pool->log from this pool</span></span> </li> <li><span><span style="color:#008200;"> * so we can not use this log while the free()ing the pool</span></span> </li> <li><span><span style="color:#008200;"> */</span></span> </li> <li> </li> <li> <span><strong><span style="color:#006699;">for</span></strong></span> (p = pool, n = pool->d.next; <span><span style="color:#008200;">/** void */</span></span>; p = n, n = n->d.next) { </li> <li> ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, pool->log, 0, </li> <li> <span><span style="color:#0000ff;">"free: %p, unused: %uz"</span></span>, p, p->d.end - p->d.last); </li> <li> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (n == NULL) { </li> <li> <span><strong><span style="color:#006699;">break</span></strong></span>; </li> <li> } </li> <li> } </li> <li> <span><span style="color:#008200;">//只有debug模式才会执行这个片段的代码，主要是log记录，用以跟踪函数销毁时日志记录。</span></span> </li> <li><span><span style="color:#808080;">#endif </span></span> </li> <li> </li> <li> <span><strong><span style="color:#006699;">for</span></strong></span> (p = pool, n = pool->d.next; <span><span style="color:#008200;">/** void */</span></span>; p = n, n = n->d.next) { </li> <li> ngx_free(p); </li> <li> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (n == NULL) { </li> <li> <span><strong><span style="color:#006699;">break</span></strong></span>; </li> <li> } </li> <li> } </li> <li>} </li> <li><span><span style="color:#008200;">//该片段彻底销毁内存池本身。</span></span> </li> </ol> </div> <p><span style="font-family:Arial;color:#333333;"><span style="line-height:26px;font-family:arial, sans-serif, 宋体;"> 该函数将遍历内存池链表，所有释放内存，如果注册了clenup(也是一个链表结构)，亦将遍历该cleanup链表结构依次调用clenup的handler清理。同时，还将遍历large链表，释放大块内存。 <br /> </span></span></p> <p><strong>2.3、重置内存池</strong></p> <p>void ngx_reset_pool(ngx_pool_t *pool)<br /> 重置内存池，将内存池恢复到刚分配时的初始化状态，注意内存池分配的初始状态时，是不包含大块内存的，因此初始状态需要将使用的大块内存释放掉，并把内存池数据结构的各项指针恢复到初始状态值。代码片段如下：<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">void</span></strong></span> </li> <li>ngx_reset_pool(ngx_pool_t *pool) </li> <li>{ </li> <li> ngx_pool_t *p; </li> <li> ngx_pool_large_t *l; </li> <li> </li> <li> <span><strong><span style="color:#006699;">for</span></strong></span> (l = pool->large; l; l = l->next) { </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (l->alloc) { </li> <li> ngx_free(l->alloc); </li> <li> } </li> <li> } </li> <li> <span><span style="color:#008200;">//上述片段主要用于清理使用到的大块内存。 </span></span> </li> <li> </li> <li> pool->large = NULL; </li> <li> </li> <li> <span><strong><span style="color:#006699;">for</span></strong></span> (p = pool; p; p = p->d.next) { </li> <li> p->d.last = (u_char *) p + <span><strong><span style="color:#006699;">sizeof</span></strong></span>(ngx_pool_t); </li> <li> } </li> <li>} </li> </ol> </div> <p> 这里虽然重置了内存池，但可以看到并没有释放内存池中被使用的小块内存，而只是将其last指针指向可共分配的内存的初始位置。这样，就省去了内存池的释放和重新分配操作，而达到重置内存池的目的。<br /> 上面我们主要阐述了内存池管理的几个函数，接下来我们深入到如何从内存池中去申请使用内存。<br /> <br /> </p> <h3><strong>2.4、分配内存（重点）</strong></h3> <p><span style="color:#990000;">2.4.1、ngx_palloc 与ngx_pnalloc函数</span><br /> 这两个函数的参数都为(ngx_pool_t *pool, size_t size)，且返回类型为void*，唯一的区别是ngx_palloc从pool内存池分配以NGX_ALIGNMENT对齐的内存，而ngx_pnalloc分配适合size大小的内存，不考虑内存对齐。<br /> 我们在这里只分析ngx_palloc，对于ngx_pnalloc其实现方式基本类似，便不再赘述。<br /> 文件：src/core/ngx_palloc.c<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">void</span></strong></span> * </li> <li>ngx_palloc(ngx_pool_t *pool, <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size) </li> <li>{ </li> <li> u_char *m; </li> <li> ngx_pool_t *p; </li> <li> </li> <li> <span><span style="color:#008200;">//判断待分配内存与max值 </span></span> </li> <li> <span><span style="color:#008200;">//1、小于max值，则从current结点开始遍历pool链表 </span></span> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (size <= pool->max) { </li> <li> </li> <li> p = pool->current; </li> <li> </li> <li> <span><strong><span style="color:#006699;">do</span></strong></span> { </li> <li> <span><span style="color:#008200;">//执行对齐操作， </span></span> </li> <li> <span><span style="color:#008200;">//即以last开始，计算以NGX_ALIGNMENT对齐的偏移位置指针， </span></span> </li> <li> m = ngx_align_ptr(p->d.last, NGX_ALIGNMENT); </li> <li> </li> <li> <span><span style="color:#008200;">//然后计算end值减去这个偏移指针位置的大小是否满足索要分配的size大小， </span></span> </li> <li> <span><span style="color:#008200;">//如果满足，则移动last指针位置，并返回所分配到的内存地址的起始地址； </span></span> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> ((<span><strong><span style="color:#2e8b57;">size_t</span></strong></span>) (p->d.end - m) >= size) { </li> <li> p->d.last = m + size; </li> <li> <span><span style="color:#008200;">//在该结点指向的内存块中分配size大小的内存 </span></span> </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> m; </li> <li> } </li> <li> </li> <li> <span><span style="color:#008200;">//如果不满足，则查找下一个链。 </span></span> </li> <li> p = p->d.next; </li> <li> </li> <li> } <span><strong><span style="color:#006699;">while</span></strong></span> (p); </li> <li> </li> <li> <span><span style="color:#008200;">//如果遍历完整个内存池链表均未找到合适大小的内存块供分配，则执行ngx_palloc_block()来分配。 </span></span> </li> <li> </li> <li> <span><span style="color:#008200;">//ngx_palloc_block()函数为该内存池再分配一个block，该block的大小为链表中前面每一个block大小的值。 </span></span> </li> <li> <span><span style="color:#008200;">//一个内存池是由多个block链接起来的。分配成功后，将该block链入该poll链的最后， </span></span> </li> <li> <span><span style="color:#008200;">//同时，为所要分配的size大小的内存进行分配，并返回分配内存的起始地址。 </span></span> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> ngx_palloc_block(pool, size); <span><span style="color:#008200;">//2.4.1节分析 </span></span> </li> <li> </li> <li> } </li> <li> <span><span style="color:#008200;">//2、如果大于max值，则执行大块内存分配的函数ngx_palloc_large，在large链表里分配内存</span></span> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> ngx_palloc_large(pool, size); <span><span style="color:#008200;">//2.4.2节分析 </span></span> </li> <li>} </li> </ol> </div> <p> 例如，在2.1节中创建的内存池中分配200B的内存，调用ngx_palloc(pool, 200)后，该内存池物理结构如下图：</p> <blockquote> <blockquote> <p><img alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/af2d0f76c1a62763446a119668f0c83d.jpg" width="305" height="444" /></p> </blockquote> </blockquote> <p><strong>a、待分配内存小于max值的情况</strong><br /> 同样，紧接着，咱们就来分析上述代码中的ngx_palloc_block()函数：<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">static</span></strong></span> <span><strong><span style="color:#006699;">void</span></strong></span> * </li> <li>ngx_palloc_block(ngx_pool_t *pool, <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size) </li> <li>{ </li> <li> u_char *m; </li> <li> <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> psize; </li> <li> ngx_pool_t *p, *<span><strong><span style="color:#006699;">new</span></strong></span>, *current; </li> <li> </li> <li> psize = (<span><strong><span style="color:#2e8b57;">size_t</span></strong></span>) (pool->d.end - (u_char *) pool); </li> <li> <span><span style="color:#008200;">//计算pool的大小，即需要分配的block的大小 </span></span> </li> <li> </li> <li> m = ngx_memalign(NGX_POOL_ALIGNMENT, psize, pool->log); </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (m == NULL) { </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NULL; </li> <li> } </li> <li> <span><span style="color:#008200;">//执行按NGX_POOL_ALIGNMENT对齐方式的内存分配，假设能够分配成功，则继续执行后续代码片段。 </span></span> </li> <li> </li> <li> <span><span style="color:#008200;">//这里计算需要分配的block的大小 </span></span> </li> <li> <span><strong><span style="color:#006699;">new</span></strong></span> = (ngx_pool_t *) m; </li> <li> </li> <li> <span><strong><span style="color:#006699;">new</span></strong></span>->d.end = m + psize; </li> <li> <span><strong><span style="color:#006699;">new</span></strong></span>->d.next = NULL; </li> <li> <span><strong><span style="color:#006699;">new</span></strong></span>->d.failed = 0; </li> <li> <span><span style="color:#008200;">//执行该block相关的初始化。 </span></span> </li> <li> </li> <li> m += <span><strong><span style="color:#006699;">sizeof</span></strong></span>(ngx_pool_data_t); </li> <li> <span><span style="color:#008200;">//让m指向该块内存ngx_pool_data_t结构体之后数据区起始位置 </span></span> </li> <li> m = ngx_align_ptr(m, NGX_ALIGNMENT); </li> <li> <span><strong><span style="color:#006699;">new</span></strong></span>->d.last = m + size; </li> <li> <span><span style="color:#008200;">//在数据区分配size大小的内存并设置last指针 </span></span> </li> <li> </li> <li> current = pool->current; </li> <li> </li> <li> <span><strong><span style="color:#006699;">for</span></strong></span> (p = current; p->d.next; p = p->d.next) { </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (p->d.failed++ > 4) { </li> <li> current = p->d.next; </li> <li> <span><span style="color:#008200;">//失败4次以上移动current指针 </span></span> </li> <li> } </li> <li> } </li> <li> </li> <li> p->d.next = <span><strong><span style="color:#006699;">new</span></strong></span>; </li> <li> <span><span style="color:#008200;">//将分配的block链入内存池 </span></span> </li> <li> </li> <li> pool->current = current ? current : <span><strong><span style="color:#006699;">new</span></strong></span>; </li> <li> <span><span style="color:#008200;">//如果是第一次为内存池分配block，这current将指向新分配的block。 </span></span> </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> m; </li> <li>} </li> </ol> </div> <p> 注意：该函数分配一块内存后，last指针指向的是ngx_pool_data_t结构体(大小16B)之后数据区的起始位置，而创建内存池时时，last指针指向的是ngx_pool_t结构体(大小40B)之后数据区的起始位置。 结合2.8节的内存池的物理结构，更容易理解。<br /> <strong>b、待分配内存大于max值的情况</strong><br /> 如2.4.1节所述，如果分配的内存大小大于max值，代码将跳到ngx_palloc_large(pool, size)位置，<br /> ok，下面进入ngx_palloc_large(pool, size)函数的分析：<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><span style="color:#008200;">//这是一个static的函数，说明外部函数不会随便调用，而是提供给内部分配调用的， </span></span> </li> <li><span><span style="color:#008200;">//即nginx在进行内存分配需求时，不会自行去判断是否是大块内存还是小块内存， </span></span> </li> <li><span><span style="color:#008200;">//而是交由内存分配函数去判断，对于用户需求来说是完全透明的。 </span></span> </li> <li><span><strong><span style="color:#006699;">static</span></strong></span> <span><strong><span style="color:#006699;">void</span></strong></span> * </li> <li>ngx_palloc_large(ngx_pool_t *pool, <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size) </li> <li>{ </li> <li> <span><strong><span style="color:#006699;">void</span></strong></span> *p; </li> <li> ngx_uint_t n; </li> <li> ngx_pool_large_t *large; </li> <li> </li> <li> p = ngx_alloc(size, pool->log); <span><span style="color:#008200;">//下文紧接着将分析此ngx_alloc函数 </span></span> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (p == NULL) { </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NULL; </li> <li> } </li> <li> </li> <li> n = 0; </li> <li> </li> <li> <span><span style="color:#008200;">//以下几行，将分配的内存链入pool的large链中， </span></span> </li> <li> <span><span style="color:#008200;">//这里指原始pool在之前已经分配过large内存的情况。 </span></span> </li> <li> <span><strong><span style="color:#006699;">for</span></strong></span> (large = pool->large; large; large = large->next) { </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (large->alloc == NULL) { </li> <li> large->alloc = p; </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> p; </li> <li> } </li> <li> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (n++ > 3) { </li> <li> <span><strong><span style="color:#006699;">break</span></strong></span>; </li> <li> } </li> <li> } </li> <li> </li> <li> <span><span style="color:#008200;">//如果该pool之前并未分配large内存，则就没有ngx_pool_large_t来管理大块内存 </span></span> </li> <li> <span><span style="color:#008200;">//执行ngx_pool_large_t结构体的分配，用于来管理large内存块。 </span></span> </li> <li> large = ngx_palloc(pool, <span><strong><span style="color:#006699;">sizeof</span></strong></span>(ngx_pool_large_t)); </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (large == NULL) { </li> <li> ngx_free(p); </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NULL; </li> <li> } </li> <li> </li> <li> large->alloc = p; </li> <li> large->next = pool->large; </li> <li> pool->large = large; </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> p; </li> <li>} </li> </ol> </div> <p> 上述代码中，调用ngx_alloc执行内存分配：<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">void</span></strong></span> * </li> <li>ngx_alloc(<span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size, ngx_log_t *log) </li> <li>{ </li> <li> <span><strong><span style="color:#006699;">void</span></strong></span> *p; </li> <li> </li> <li> p = malloc(size); </li> <li> <span><span style="color:#008200;">//从这里可以看到，ngx_alloc实际上就是调用malloc函数分配内存的。 </span></span> </li> <li> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (p == NULL) { </li> <li> ngx_log_error(NGX_LOG_EMERG, log, ngx_errno, </li> <li> <span><span style="color:#0000ff;">"malloc() %uz bytes failed"</span></span>, size); </li> <li> } </li> <li> </li> <li> ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, log, 0, <span><span style="color:#0000ff;">"malloc: %p:%uz"</span></span>, p, size); </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> p; </li> <li>} </li> </ol> </div> <p></p> <p><span style="color:#990000;"><span style="line-height:26px;font-family:Arial;">2.4.2、ngx_pcalloc与</span><span style="text-align:left;line-height:26px;font-family:Arial;">ngx_pmemalign函数</span></span></p> <p> ngx_pcalloc是直接调用palloc分配好内存，然后进行一次0初始化操作。ngx_pcalloc的源码如下：</p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">void</span></strong></span> * </li> <li>ngx_pcalloc(ngx_pool_t *pool, <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size) </li> <li>{ </li> <li> <span><strong><span style="color:#006699;">void</span></strong></span> *p; </li> <li> </li> <li> p = ngx_palloc(pool, size); </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (p) { </li> <li> ngx_memzero(p, size); </li> <li> } </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> p; </li> <li>} </li> </ol> </div> <p> ngx_pmemalign将在分配size大小的内存并按alignment对齐，然后挂到large字段下，当做大块内存处理。ngx_pmemalign的源码如下：<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">void</span></strong></span> * </li> <li>ngx_pmemalign(ngx_pool_t *pool, <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size, <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> alignment) </li> <li>{ </li> <li> <span><strong><span style="color:#006699;">void</span></strong></span> *p; </li> <li> ngx_pool_large_t *large; </li> <li> </li> <li> p = ngx_memalign(alignment, size, pool->log); </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (p == NULL) { </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NULL; </li> <li> } </li> <li> </li> <li> large = ngx_palloc(pool, <span><strong><span style="color:#006699;">sizeof</span></strong></span>(ngx_pool_large_t)); </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (large == NULL) { </li> <li> ngx_free(p); </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NULL; </li> <li> } </li> <li> </li> <li> large->alloc = p; </li> <li> large->next = pool->large; </li> <li> pool->large = large; </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> p; </li> <li>} </li> </ol> </div> <p></p> <p> 其余的不再详述。nginx提供给我们使用的内存分配接口，即上述本2.4节中这4种函数，至此，都已分析完毕。</p> <p><strong>2.5、释放内存</strong></p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (p == l->alloc) { </li> <li> ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, </li> <li><span><span style="color:#0000ff;">"free: %p"</span></span>, l->alloc); </li> <li> ngx_free(l->alloc); </li> <li> l->alloc = NULL; </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NGX_OK; </li> <li> } </li> <li>} </li> <li> </li> <li><span><strong><span style="color:#006699;">return</span></strong></span> NGX_DECLINED; </li> </ol> </div> <p> 需要注意的是该函数只释放large链表中注册的内存，普通内存在ngx_destroy_pool中统一释放。<br /> <strong>2.6、注册cleanup</strong><br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li>ngx_pool_cleanup_t * </li> <li>ngx_pool_cleanup_add(ngx_pool_t *p, <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> size) </li> <li>{ </li> <li> ngx_pool_cleanup_t *c; </li> <li> </li> <li> c = ngx_palloc(p, <span><strong><span style="color:#006699;">sizeof</span></strong></span>(ngx_pool_cleanup_t)); </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (c == NULL) { </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NULL; </li> <li> } </li> <li> </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (size) { </li> <li> c->data = ngx_palloc(p, size); </li> <li> <span><strong><span style="color:#006699;">if</span></strong></span> (c->data == NULL) { </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> NULL; </li> <li> } </li> <li> </li> <li> } <span><strong><span style="color:#006699;">else</span></strong></span> { </li> <li> c->data = NULL; </li> <li> } </li> <li> </li> <li> c->handler = NULL; </li> <li> c->next = p->cleanup; </li> <li> </li> <li> p->cleanup = c; </li> <li> </li> <li> ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, p->log, 0, <span><span style="color:#0000ff;">"add cleanup: %p"</span></span>, c); </li> <li> </li> <li> <span><strong><span style="color:#006699;">return</span></strong></span> c; </li> <li>} </li> </ol> </div> <p><strong>2.7、文件相关</strong><br /> 一些文件相关的操作函数如下，此处就不在详述了。<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">void</span></strong></span> </li> <li>ngx_pool_run_cleanup_file(ngx_pool_t *p, ngx_fd_t fd) </li> <li>{ </li> <li> <span><span style="color:#008200;">//.... </span></span> </li> <li>} </li> <li> </li> <li><span><strong><span style="color:#006699;">void</span></strong></span> </li> <li>ngx_pool_cleanup_file(<span><strong><span style="color:#006699;">void</span></strong></span> *data) </li> <li>{ </li> <li> <span><span style="color:#008200;">//.... </span></span> </li> <li>} </li> <li> </li> <li><span><strong><span style="color:#006699;">void</span></strong></span> </li> <li>ngx_pool_delete_file(<span><strong><span style="color:#006699;">void</span></strong></span> *data) </li> <li>{ </li> <li> <span><span style="color:#008200;">//... </span></span> </li> <li>} </li> </ol> </div> <p><br /> <strong>2.8、内存池的物理结构</strong><br /> 针对本文前几节的例子，画出的内存池的物理结构如下图。<br /> </p> <blockquote> <img alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/91fda57cf2a68b2e906a7a1d577acea1.jpg" width="644" height="561" /> </blockquote> <p> 从该图也能看出2.4节的结论，即内存池第一块内存前40字节为ngx_pool_t结构，后续加入的内存块前16个字节为ngx_pool_data_t结构，这两个结构之后便是真正可以分配内存区域。 </p> <h3>全文总结</h3> <p> 来自淘宝数据共享平台blog内的一篇文章对上述Nginx源码剖析之内存池，与内存管理总结得很好，特此引用之，作为对上文全文的一个总结：</p> <p> Nginx的内存池实现得很精巧，代码也很简洁。总的来说，所有的内存池基本都一个宗旨：申请大块内存，避免“细水长流”。<br /> <strong>3.1、创建一个内存池</strong><br /> nginx内存池主要有下面两个结构来维护，他们分别维护了内存池的头部和数据部。此处数据部就是供用户分配小块内存的地方。<br /> </p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><span style="color:#008200;">//该结构用来维护内存池的数据块，供用户分配之用。 </span></span> </li> <li><span><strong><span style="color:#006699;">typedef</span></strong></span> <span><strong><span style="color:#006699;">struct</span></strong></span> { </li> <li> u_char *last; <span><span style="color:#008200;">//当前内存分配结束位置，即下一段可分配内存的起始位置 </span></span> </li> <li> u_char *end; <span><span style="color:#008200;">//内存池结束位置 </span></span> </li> <li> ngx_pool_t *next; <span><span style="color:#008200;">//链接到下一个内存池 </span></span> </li> <li> ngx_uint_t failed; <span><span style="color:#008200;">//统计该内存池不能满足分配请求的次数 </span></span> </li> <li>} ngx_pool_data_t; </li> <li><span><span style="color:#008200;">//该结构维护整个内存池的头部信息。 </span></span> </li> </ol> </div> <p></p> <div class="dp-highlighter bg_cpp"> <div class="bar"> <div class="tools"> </div> </div> <ol> <li><span><strong><span style="color:#006699;">struct</span></strong></span> ngx_pool_s { </li> <li> ngx_pool_data_t d; <span><span style="color:#008200;">//数据块 </span></span> </li> <li> <span><strong><span style="color:#2e8b57;">size_t</span></strong></span> max; <span><span style="color:#008200;">//数据块的大小，即小块内存的最大值 </span></span> </li> <li> ngx_pool_t *current; <span><span style="color:#008200;">//保存当前内存池 </span></span> </li> <li> ngx_chain_t *chain; <span><span style="color:#008200;">//可以挂一个chain结构 </span></span> </li> <li> ngx_pool_large_t *large; <span><span style="color:#008200;">//分配大块内存用，即超过max的内存请求 </span></span> </li> <li> ngx_pool_cleanup_t *cleanup; <span><span style="color:#008200;">//挂载一些内存池释放的时候，同时释放的资源。 </span></span> </li> <li> ngx_log_t *log; </li> <li>}; </li> </ol> </div> <p>有了上面的两个结构，就可以创建一个内存池了，nginx用来创建一个内存池的接口是：<br /> </p> <blockquote> <p>ngx_pool_t *ngx_create_pool(size_t size, ngx_log_t *log)（位于src/core/ngx_palloc.c中）;</p> </blockquote> <p>调用这个函数就可以创建一个大小为size的内存池了。<br /> <img alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/9f075931acf6a88a82edb1d0f3da3c13.jpg" width="725" height="210" /><br /> ngx_create_pool接口函数就是分配上图这样的一大块内存，然后初始化好各个头部字段（上图中的彩色部分）。红色表示的四个字段就是来自于上述的第一个结构，维护数据部分，<br /> 由图可知：last是用户从内存池分配新内存的开始位置，end是这块内存池的结束位置，所有分配的内存都不能超过end。蓝色表示的max字段的值等于整个数据部分的长度。<strong>用户请求的内存大于max时，就认为用户请求的是一个大内存，此时需要在紫色表示的large字段下面单独分配；用户请求的内存不大于max的话，就是小内存申请，直接在数据部分分配，此时将会移动last指针</strong>（具体见上文2.4.1节）。<br /> <br /> <strong>3.2、分配小块内存(size <= max)</strong><br /> 上面创建好了一个可用的内存池了，也提到了小块内存的分配问题。nginx提供给用户使用的内存分配接口有：</p> <p>void *ngx_palloc(ngx_pool_t *pool, size_t size);<br /> void *ngx_pnalloc(ngx_pool_t *pool, size_t size);<br /> void *ngx_pcalloc(ngx_pool_t *pool, size_t size);<br /> void *ngx_pmemalign(ngx_pool_t *pool, size_t size, size_t alignment);<br /> <br /> ngx_palloc和ngx_pnalloc都是从内存池里分配size大小内存，至于分得的是小块内存还是大块内存，将取决于size的大小；<br /> 他们的不同之处在于，palloc取得的内存是对齐的，pnalloc则否。<br /> ngx_pcalloc是直接调用palloc分配好内存，然后进行一次0初始化操作。<br /> ngx_pmemalign将在分配size大小的内存并按alignment对齐，然后挂到large字段下，当做大块内存处理。下面用图形展示一下分配小块内存的模型：<br /> <img alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/e080927226f993cd7677aed16b217fc5.jpg" width="757" height="498" /><br /> <br /> 上图这个内存池模型是由上3个小内存池构成的，由于第一个内存池上剩余的内存不够分配了，于是就创建了第二个新的内存池，第三个内存池是由于前面两个内存池的剩余部分都不够分配，所以创建了第三个内存池来满足用户的需求。<br /> 由图可见：所有的小内存池是由一个单向链表维护在一起的。这里还有两个字段需要关注，failed和current字段。failed表示的是当前这个内存池的剩余可用内存不能满足用户分配请求的次数，即是说：一个分配请求到来后，在这个内存池上分配不到想要的内存，那么就failed就会增加1；这个分配请求将会递交给下一个内存池去处理，如果下一个内存池也不能满足，那么它的failed也会加1，然后将请求继续往下传递，直到满足请求为止（如果没有现成的内存池来满足，会再创建一个新的内存池）。<br /> current字段会随着failed的增加而发生改变，如果current指向的内存池的failed达到了4的话，current就指向下一个内存池了。猜测：4这个值应该是<span style="line-height:26px;font-family:Arial;color:#333333;">Nginx</span>作者的经验值，或者是一个统计值（详见上文2.4.1节a部分）。<br /> <br /> <strong>3.3、大块内存的分配(size > max)</strong><br /> 大块内存的分配请求不会直接在内存池上分配内存来满足，而是直接向操作系统申请这么一块内存（就像直接使用malloc分配内存一样），<br /> 然后将这块内存挂到内存池头部的large字段下。内存池的作用在于解决小块内存池的频繁申请问题，对于这种大块内存，是可以忍受直接申请的。<br /> 同样，用图形展示大块内存申请模型：<br /> <img alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/68e67556a2f695a835dc68f613caeadc.jpg" width="720" height="440" /><br /> 注意每块大内存都对应有一个头部结构（next&alloc），这个头部结构是用来将所有大内存串成一个链表用的。<br /> 这个头部结构不是直接向操作系统申请的，而是当做小块内存（头部结构没几个字节）直接在内存池里申请的。<br /> 这样的大块内存在使用完后，可能需要第一时间释放，节省内存空间，因此nginx提供了接口函数：<br /> ngx_int_t ngx_pfree(ngx_pool_t *pool, void *p)；<br /> 此函数专门用来释放某个内存池上的某个大块内存，p就是大内存的地址。<br /> ngx_pfree只会释放大内存，不会释放其对应的头部结构，毕竟头部结构是当做小内存在内存池里申请的；遗留下来的头部结构会作下一次申请大内存之用。<br /> <br /> <strong>3.4、cleanup资源</strong><br /> <img alt="Nginx源码剖析之内存池，与内存管理" src="https://simg.open-open.com/show/767bf18f39be7b757be72760d6723f86.jpg" width="720" height="462" /><br /> </p> <p> 可以看到所有挂载在内存池上的资源将形成一个循环链表，一路走来，发现链表这种看似简单的数据结构却被频繁使用。<br /> 由图可知，每个需要清理的资源都对应有一个头部结构，这个结构中有一个关键的字段handler，handler是一个函数指针，在挂载一个资源到内存池上的时候，同时也会注册一个清理资源的函数到这个handler上。即是说，内存池在清理cleanup的时候，就是调用这个handler来清理对应的资源。<br /> 比如：我们可以将一个开打的文件描述符作为资源挂载到内存池上，同时提供一个关闭文件描述的函数注册到handler上，那么内存池在释放的时候，就会调用我们提供的关闭文件函数来处理文件描述符资源了。<br /> <br /> <strong>3.5、内存的释放</strong><br /> nginx只提供给了用户申请内存的接口，却没有释放内存的接口，那么nginx是如何完成内存释放的呢？总不能一直申请，用不释放啊。针对这个问题，nginx利用了web server应用的特殊场景来完成；<br /> 一个web server总是不停的接受connection和request，所以nginx就将内存池分了不同的等级，有进程级的内存池、connection级的内存池、request级的内存池。<br /> 也就是说，创建好一个worker进程的时候，同时为这个worker进程创建一个内存池，待有新的连接到来后，就在worker进程的内存池上为该连接创建起一个内存池；连接上到来一个request后，又在连接的内存池上为request创建起一个内存池。<br /> 这样，在request被处理完后，就会释放request的整个内存池，连接断开后，就会释放连接的内存池。因而，就保证了内存有分配也有释放。</p> <p>小结：通过内存的分配和释放可以看出，nginx只是将小块内存的申请聚集到一起申请，然后一起释放。避免了频繁申请小内存，降低内存碎片的产生等问题。<br /> </p> <h3><strong>参考文献</strong></h3> <ol> <li>dreamice：http://bbs.chinaunix.net/thread-3626006-1-1.html；</li> <li>http://blog.csdn.net/livelylittlefish/article/details/6586946；</li> <li>dreamice’blog：http://blog.chinaunix.net/space.php?uid=7201775；</li> <li>http://www.tbdata.org/archives/1390。<br /> </li> </ol> <h3>后记 </h3> <div> 今闲来无事，拿着个nginx源码在编译器上做源码剖析，鼓捣了一下午，至晚上不料中途停电，诸多部分未能保存。然不想白忙活，又花费了一个晚上，终至补全，方成上文，并修订至五日凌晨三点。同时，也参考和借鉴了 <span style="line-height:26px;font-family:Arial;color:#333333;">dreamice、阿波等朋友</span>们及yixiao等大牛的作品，异常感谢。读者若有兴趣，还可以看看sgi stl 的内存池及其管理（或者，日后自个也写下）。 </div> <div> 还是常有朋友问诸如下算法学习心得之类的，其实，我也是草包一个，不过，到底看来看来上次写的文章（ <a href="/misc/goto?guid=4959500991259478527" rel="nofollow" target="_blank">由快速排序引申而来--如何学习算法</a>）令读者不甚满意。 <strong>学算法，先修心。当你养成了算法无惧的心理后，学习任何新的东西时，都将所向披靡</strong>。任何东西，扎扎实实学就够了。 至于工作，12.07日上班，在微博上给自己添加非常荣幸的给自己新添加了三条标签：推荐系统，机器学习，算法工程师。在学习决策树的过程中，发现网上并无好的资料可看，打算择日写一下。 </div> <div> 另外，对此前写的KMP算法做了总结，写了续集，读者可以参考之。 <span style="color:#990000;"> 六之再续：KMP算法之总结篇</span>： <a href="/misc/goto?guid=4959500991348823170" rel="nofollow" target="_blank"><span style="color:#336699;">/algorithm/20111205/315670.html</span></a>。相信，看过此文后，无论是谁，都一定可以把KMP算法搞懂了。 </div> <span style="line-height:22px;background-color:#f5f8fd;font-family:arial, sans-serif, 宋体;font-size:14px;">本文来自：</span> <a href="/misc/goto?guid=4959500991430644307" rel="nofollow" target="_blank">http://blog.csdn.net/v_july_v/article/details/7040425</a> <span style="line-height:22px;background-color:#f5f8fd;font-family:arial, sans-serif, 宋体;font-size:14px;"> </span>