7 个测量 Python 脚本和控制内存以及 CPU 使用率的技巧

   <p>首先，你需要工具来查明你代码的瓶颈，比如，那部分执行花费的时间长。用这个方法，你可以首先专注于提升这部分的速度。</p>    <p>而且，你也应该控制内存和 CPU 使用率，因为它可以为你指出的代码可以改进的新的部分。</p>    <p>所以，在本文中，我将对 7 个不同的 Python 工具发表意见，给你一些关于你函数执行时间和内存以及 CPU 使用率的见解。</p>    <h2>1. 使用一个装饰器来测量你的函数</h2>    <p>测量一个函数最简单的方式就是定义一个装饰器来测量运行该函数的运行时间，并打印该结果：</p>    <pre>  <code class="language-python">importtime  fromfunctoolsimportwraps        deffn_timer(function):      @wraps(function)      deffunction_timer(*args, **kwargs):          t0 = time.time()          result = function(*args, **kwargs)          t1 = time.time()          print ("Total time running %s: %s seconds" %                (function.func_name, str(t1-t0))                )          return result      return function_timer     </code></pre>    <p>这时，你已经在你想测量的函数之前添加了装饰器，像：</p>    <pre>  <code class="language-python">@fn_timer  defmyfunction(...):      ...     </code></pre>    <p>例如，让我们测量下排序一个 2000000 个随机数的数组会花费多长时间：</p>    <pre>  <code class="language-python">@fn_timer  defrandom_sort(n):      return sorted([random.random() for i in range(n)])        if __name__ == "__main__":   random_sort(2000000)     </code></pre>    <p>如果你运行你的脚本，你将看到：</p>    <pre>  <code class="language-python">Totaltimerunningrandom_sort: 1.41124916077 seconds     </code></pre>    <h2>2. 使用 timeit 模块</h2>    <p>另外一个选项是使用 <a href="/misc/goto?guid=4959727637636230183" rel="nofollow,noindex">timeit</a> 模块，它给你测量一个平均时间。</p>    <p>为了运行它，在你的终端执行以下命令：</p>    <pre>  <code class="language-python">$ python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"     </code></pre>    <p>timing_functions 是你脚本的名字。</p>    <p>在输出的最后，你会看到一些像这样的东西：</p>    <pre>  <code class="language-python">4 loops, bestof 5: 2.08 secperloop     </code></pre>    <p>表明了运行这个测试 4 次（-n 4），并在每个测试中重复平均 5 次（-r 5），最佳的结果是 2.08 秒。</p>    <p>如果你没有指定测试或者重复，它默认是 10 次循环和 5 次重复。</p>    <h2>3. 使用 Uinx 的 time 命令</h2>    <p>尽管如此，装饰器和 timeit 模块都是基于 Python 的。这就是为什么 unix time 工具或许有用，因为它是一个外部的 Python 测量。</p>    <p>为了运行 time 工具类型：</p>    <pre>  <code class="language-python">$ time -p pythontiming_functions.py     </code></pre>    <p>将给出如下输出：</p>    <pre>  <code class="language-python">Totaltimerunningrandom_sort: 1.3931210041 seconds  real        1.49  user        1.40  sys          0.08     </code></pre>    <p>第一行来自于我们定义的装饰器，其他三行是：</p>    <ul>     <li>real 表明了执行脚本花费的总时间</li>     <li>User 表明了执行脚本花费在的 CPU 时间</li>     <li>Sys 表明了执行脚本花费在内核函数的时间</li>    </ul>    <p>因此， real time 和 user+sys 相加的不同或许表明了时间花费在等待 I/O 或者是系统在忙于执行其他任务。</p>    <h2>4. 使用 cProfile 模块</h2>    <p>如果你想知道花费在每个函数和方法上的时间，以及它们被调用了多少次，你可以使用 <a href="/misc/goto?guid=4958858950037672544" rel="nofollow,noindex">cProfile</a> 模块。</p>    <pre>  <code class="language-python">$ python -m cProfile -s cumulativetiming_functions.py     </code></pre>    <p>现在你将看到你的代码中每个函数被调用多少次的详细描述，并且它将通过累积花费在每个函数上面的时间来排序（感谢 -s cumulative 选项）</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/dff740e2012c1819bc3145d1f1fb6da0.png"></p>    <p>你将看到花费在运行你的脚本的总时间是比以前高的。这是我们测量每个函数执行时间的损失。</p>    <h2>5. 使用 line_profiler 模块</h2>    <p>line_profiler 给出了在你代码每一行花费的 CPU 时间。</p>    <p>这个模块首先应该被安装，使用命令：</p>    <pre>  <code class="language-python">$ pipinstallline_profiler     </code></pre>    <p>下一步，你需要指定你想使用装饰器 @profile 评估哪个函数（你不需要把它 import 到你的文件中）。</p>    <pre>  <code class="language-python">@profile  defrandom_sort2(n):      l = [random.random() for i in range(n)]      l.sort()      return l     if __name__ == "__main__":      random_sort2(2000000)     </code></pre>    <p>最后，你可以通过键入以下命令取得 random_sort2 函数逐行的描述：</p>    <pre>  <code class="language-python">$ kernprof -l -v timing_functions.py     </code></pre>    <p>-l 标识表明了逐行和 -v 标识表明详细输出。使用这个方法，我们看到了数组结构花费了 44% 的计算时间，sort() 方法花费了剩余的 56%。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/ec3f1a798b3ea0390fea9db969cb06c6.png"></p>    <p>你也将看到，由于时间测量，这个脚本执行花费的或许更长。</p>    <h2>6. 使用 memory_profiler 模块</h2>    <p>memory_profiler 模块被用于在逐行的基础上，测量你代码的内存使用率。尽管如此，它可能使得你的代码运行的更慢。</p>    <p>安装：</p>    <pre>  <code class="language-python">$ pipinstallmemory_profiler     </code></pre>    <p>也建议安装 psutil 包，使得 memory_profile 模块运行的更快：</p>    <pre>  <code class="language-python">$ pipinstallpsutil     </code></pre>    <p>类似 line_profiler 的方式，使用装饰器 @profile 来标记哪个函数被跟踪。下一步，键入：</p>    <pre>  <code class="language-python">$ python -m memory_profilertiming_functions.py     </code></pre>    <p>是的，前面的脚本比之前的 1 或 2 秒需要更长的时间。并且，如果你不安装 psutil 模块，你将一直等待结果。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/7af377ff5812de87700c424395aa2980.png"></p>    <p>看上面的输出，注意内存使用率的单位是 MiB，这代表的是兆字节（1MiB = 1.05MB）。</p>    <h2>7. 使用 guppy 包</h2>    <p>最后，使用这个包，你可以跟踪每个类型在你代码中每个阶段（字符， 元组， 字典 等等）有多少对象被创建了。</p>    <p>安装：</p>    <pre>  <code class="language-python">$ pipinstallguppy     </code></pre>    <p>下一步，像这样添加到你的代码中：</p>    <pre>  <code class="language-python">fromguppyimporthpy        defrandom_sort3(n):      hp = hpy()      print "Heap at the beginning of the functionn", hp.heap()      l = [random.random() for i in range(n)]      l.sort()      print "Heap at the end of the functionn", hp.heap()      return l        if __name__ == "__main__":      random_sort3(2000000)     </code></pre>    <p>并且这样运行你的代码：</p>    <pre>  <code class="language-python">$ pythontiming_functions.py     </code></pre>    <p>你将看到一些像下面的输出：</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/274f32be38eb0ffb27c8ebee693b6701.png"></p>    <p>通过配置 heap 在你的代码的不同地方，你可以在脚本中学到对象的创建和销毁。</p>    <p> </p>    <p> </p>    <p>来自：http://python.jobbole.com/86922/</p>    <p> </p>