百度开源Ring Allreduce算法：提速31倍

   <p>美国时间 2 月 22 日，百度硅谷人工智能实验室（SVAIL）宣布向深度学习领域开源了 Ring Allreduce 算法库。Ring Allreduce 是高性能计算领域的著名算法，但在深度学习领域还应用不足。</p>    <p>用通俗的语言来解释 Ring Allreduce 算法，就是以前都是向单个处理器发送数据，一个一个很慢，而 Ring Allreduce 算法是同时发送，这样发送时间就大大减少，效率也提高了。</p>    <p>这是普通算法：</p>    <p style="text-align: center;"><img alt="百度开源Ring Allreduce算法：提速31倍" src="https://simg.open-open.com/show/6833d0e6f5da0000674b18db93b37114.jpg" /></p>    <p>这是 Ring Allreduce 算法：</p>    <p style="text-align: center;"><img alt="百度开源Ring Allreduce算法：提速31倍" src="https://simg.open-open.com/show/ce1ecba967783c7dd0db6e6cb8a8646b.jpg" /></p>    <p>据了解，运用 Ring Allreduce 算法，百度硅谷人工智能实验室将神经网络的训练扩展至 40 个 GPU 并且训练速度提高 31 倍。</p>    <p>百度称：“我们推出这个项目最大的愿望，就是希望通过开放和分享百度在分布式深度机器学习及大数据领域的技术经验，将分布式机器学习的门槛降低，使得更多个人和机构能够享受大数据带来的便利。”</p>    <p>百度认为，互联网精神的本质，就是共享。技术的研发和进步不只是一家公司的盈利，而是全人类的获益。我们通过开源提供的更多技术支持，是希望大家一起推动人工智能的发展，造福的是我，是你，也是他。</p>    <p style="text-align: center;"><img alt="百度开源Ring Allreduce算法：提速31倍" src="https://simg.open-open.com/show/4b9344bae397fea064a6d060fb0021bb.jpg" /></p>    <p>来自: <a href="/misc/goto?guid=4959003847076851072" id="link_source2">驱动之家</a></p>