探究如何给Python程序做hotfix

   <p>使用Python来写服务器端程序，很大的一个优势就是可以进行热更新，即在不停机的情况下，使改动后的程序生效。在开发阶段，这个功能可以大大提高开发效率（写代码–启动服务器–看效果–改代码–hotfix–看效果–提交~）；而在生产环境中，可以以最小的代价（不停机）修复线上的bug。</p>    <p>我在项目中使用hotfix功能很长世间了，大概了解它是利用了Python的import/reload功能，但是并没有去自己研究过。也觉得应该研究一下Python的hotfix机制，毕竟是跟了自己这么久的小伙伴嘛。</p>    <h2>import</h2>    <p>说到hotfix就要从import语句说起。</p>    <p>首先建立这样一个简单的文件用作测试。</p>    <pre>  <code class="language-python">from __future__ import print_function     class RefreshClass(object):      def __init__(self):          self.value = 1         def print_info(self):          print('RefreshClass value: {} ver1.0'.format(self.value))     version = 1.0      print(version)  </code></pre>    <p>下面启动一个python解释器。</p>    <pre>  <code class="language-python">>>> import test_refreshas tr  1.0  >>> import test_refreshas tr  >>>> # edit  version=2.0  >>> import test_refreshas tr  >>> tr.version  1.0  </code></pre>    <p>重新import一个已经import过的模块，并不会重新执行文件（第二个import之后没有输出）。后面修改源文件并重新import后，对内存中tr.version的检查也验证了这一点。</p>    <p>为了能够重新加载修改后的源文件，我们需要明确的告诉Python解释器这一点。在Python中，sys.modules保存了已经加载过的模块。所以</p>    <pre>  <code class="language-python">>>> del sys.modules['test_refresh']  >>> import test_refreshas tr  2.0  >>> tr.version  2.0  </code></pre>    <p>在将test_refresh从sys.modules中删除之后再进行import操作，就会重新加载源文件了。</p>    <p>另外，如果我们只能拿到模块的字符串名字，可以使用__import__函数。</p>    <pre>  <code class="language-python"># edit version=3.0  >>> del sys.modules['test_refresh']  >>> tr = __import__('test_refresh')  3.0  >>> tr.version  3.0  </code></pre>    <h2>reload</h2>    <p>当我们面对的是一个之前已经import过的模块时，可以直接使用reload进行重新加载。</p>    <pre>  <code class="language-python"># edit version = 4.0  >>> reload(tr)            4.0  <module 'test_refresh' from 'test_refresh.py'>  >>> tr.version  4.0  </code></pre>    <h2>初步尝试hotfix</h2>    <p>知道了模块重新加载的方法后，我们在Python的交互式命令行中，尝试动态改变一个类的行为逻辑。</p>    <pre>  <code class="language-python">from __future__ import print_function     class RefreshClass(object):      def __init__(self):          self.value = 1         def print_info(self):          print('RefreshClass value: {} ver1.0'.format(self.value))  </code></pre>    <p>这是测试类的当前状态。</p>    <p>我们创建一个该类的对象，验证下它的行为。</p>    <pre>  <code class="language-python">>>> a = tr.RefreshClass()  >>> a.value  1  >>> a.print_info()  RefreshClassvalue: 1 ver1.0  </code></pre>    <p>符合预期。</p>    <p>接下来，修改类的print_info函数为ver2.0，并reload模块。</p>    <pre>  <code class="language-python"># edit print_info ver2.0  >>> reload(tr)  4.0  <module 'test_refresh' from 'test_refresh.py'>  >>> a.value  1  >>> a.print_info()  RefreshClassvalue: 1 ver1.0  </code></pre>    <p>输出并没有如预期一样输出ver2.0……</p>    <p>那我们重新创建一个对象试试。</p>    <pre>  <code class="language-python">>>> b = tr.RefreshClass()  >>> b.value  2  >>> b.print_info()  RefreshClassvalue: 2 ver2.0  </code></pre>    <p>新对象b的行为是符合重新加载后的逻辑的。这说明，reload确实更新了RefreshClass类的行为，但是对于已经实例化的RefreshClass类的对象，却没有进行更新。对象a中的行为还是指向了旧的RefreshClass类。</p>    <p>在Python中，一切皆是对象。不仅实例a是对象，a的类RefreshClass也是对象。</p>    <p>这时，要修改a的行为，就需要用到a的__class__属性，来强制使a的类行为指向重新加载后的RefreshClass对象。</p>    <pre>  <code class="language-python">>>> a.__class__ = tr.RefreshClass  >>> a.value  1  >>> a.print_info()  RefreshClassvalue: 1 ver2.0  </code></pre>    <p>由于value是绑定在实例a上的，所以它的值并不会随RefreshClass的改变而改变。这也符合hotfix的预期逻辑：更新内存中实例的行为逻辑，但是不更新它们的数据。</p>    <p>接下来，我们还可以通过print_info函数的im <em>func属性，验证在更改了</em> _class__属性后，函数确实更新成了新版本。</p>    <pre>  <code class="language-python"># edit print_info ver3.0  >>> reload(tr)  4.0  <module 'test_refresh' from 'test_refresh.py'>  >>> a.print_info.im_func  <functionprint_infoat 0x7f50beeb2c08>  >>> c = tr.RefreshClass()  >>> c.print_info()  RefreshClassvalue: 3 ver3.0  >>> c.print_info.im_func  <functionprint_infoat 0x7f50beeb2cf8>  >>> a.__class__ = tr.RefreshClass  >>> a.print_info.im_func  <functionprint_infoat 0x7f50beeb2cf8>  >>> a.print_info()  RefreshClassvalue: 1 ver3.0  </code></pre>    <h2>触发hotfix</h2>    <p>上面的操作都是在Python的交互式解释器中运行的。下面我们将尝试使一个运行中的Python程序进行热更新。</p>    <p>这里遇到一个问题：作为Python程序入口的那个文件，不是以module的形式存在的，因此不能用上面的方式进行hotfix。所以我们需要保持入口文件的尽量简洁，而将绝大多数的逻辑功能交给其他的模块执行。</p>    <p>要触发一个正在运行中的Python程序进行热更新，我们需要有一种方式和Python程序通信。直接使用OS的标识文件是一个简单易行的方法。</p>    <pre>  <code class="language-python">from __future__ import print_function     import os  import time  import refresh_class        rc = refresh_class.RefreshClass()  while True:      if os.path.exists('refresh.signal'):          reload(refresh_class)          rc.__class__ = refresh_class.RefreshClass      time.sleep(5)      rc.print_info()  </code></pre>    <pre>  <code class="language-python">class RefreshClass(object):      def __init__(self):          self.value = 1         def print_info(self):          print('RefreshClass value: {} ver1.0'.format(self.value))  </code></pre>    <p>每次我们修改完refresh_class.py文件，就创建一个refresh.signal文件。当refresh执行完毕，删除此文件即可。</p>    <p>这种做法一般来讲，会导致多次重新加载（因为一般不能及时的删除refresh.signal文件）。</p>    <p>所以，我们考虑使用Linux下的信号量，来同Python程序通信。</p>    <pre>  <code class="language-python">from __future__ import print_function     import time  import signal     import refresh_class     rc = refresh_class.RefreshClass()        def handl_refresh(signum, frame):      reload(refresh_class)      rc.__class__ = refresh_class.RefreshClass        signal.signal(signal.SIGUSR1, handl_refresh)  while True:      time.sleep(5)      rc.print_info()  </code></pre>    <p>我们在Python中注册了信号量SIGUSR1的handler，在其中热更新RefreshClass。</p>    <p>那么只需在另一个terminal中，输入：</p>    <p>kill -SIGUSR1 pid</p>    <p>即可向pid进程发送信号量SIGUSR1。</p>    <p>当然，还有其他方法可以触发hotfix，比如使用PIPE，或者直接开一个socket监听，自己设计消息格式来触发hotfix。</p>    <h2>总结</h2>    <p>以上进行Python热更新的方式，原理简单明了，就是利用了Python提供的import/reload机制。但是这种方式，需要去替换每一个类的实例的__class__成员。这就往往需要在某处保存目前内存中存在的所有对象（或者能够索引到所有活动对象的根对象），并且在类的设计上，需要所有类的基类提供一个通用的refresh方法，在其中进行__class__的替换工作。对于复杂的类组合方式，这种方法比较容易在热更新的时候漏掉某些实例。</p>    <p>其实还有一种途径可以代替__class__的替换工作。我们知道，如果不替换__class__的话，即使我们重新加载进来了新的module，但是所有的__class__还将指向旧的module的class。那么，我们不妨将新的module的内容插入到旧的module中。这样我们就可以不用费劲去更新每一个__class__了。一般的，我们会利用import hook(sys.meta_path,详见 PEP302 )来实现这个替换。当然，这种方法的实现细节较多（因为module中可能存在module，class，function等互相嵌套的情况），不过只要实现完整后，就是一劳永逸的事情了。</p>    <p> </p>    <p>来自：http://python.jobbole.com/87106/</p>    <p> </p>