DeepMind发布Sonnet 帮你用TensorFlow快速搭建神经网络

   <p style="text-align:center"><img alt="DeepMind发布Sonnet 帮你用TensorFlow快速搭建神经网络" src="https://simg.open-open.com/show/1e865613b18056dc2605e34567aed0c0.jpg" /></p>    <p>去年 DeepMind 作出决定，将全部研究搬到 TensorFlow 框架上进行。</p>    <p>近一年时间过去，回头来看，DeepMind 认为这项选择十分正确——许多模型的学习过程大幅加速；TensorFlow 内置的分布式训练功能，还帮助工程师们极大得精简了代码。</p>    <p>在这过程中，DeepMind 发现：TensorFlow 的灵活性和可适性，使得以它为基础、为特定任务开发专用高级框架变得十分可行。</p>    <p>DeepMind 就开发了一个能在 TensorFlow 上快速创建神经网络模块的高级框架，名为 Sonnet。</p>    <p>雷锋网(公众号：雷锋网)消息，两天前，其代码被上传到 <a href="/misc/goto?guid=4959005356038440155" rel="nofollow">GitHub</a>。昨夜，DeepMind 在官方博客宣布了这一消息：Sonnet 正式开源。</p>    <p>对于 TensorFlow 而言，自从其在 2015 年末开源，一个由众多高级算法库组成的多样生态系统，便已围绕着它迅速发展起来。这些高级工具，允许常用任务以更简便、更快的方式完成，极大节省了开发者的时间精力。 </p>    <p>作为该生态的新成员，Sonnet 也是如此。它与现有的神经网络算法库有许多共同点，但部分功能专为 DeepMind 的研究需要而设计。</p>    <p>这并不是 Sonnet 的源代码头一回被公开——据雷锋网了解，几个月前 DeepMind 开源的算法库 “<a href="/misc/goto?guid=4959005356126869866" rel="nofollow">Learning to learn</a>”，以及去年 6 月发表的论文 《<a href="/misc/goto?guid=4959005356214625370" rel="nofollow">Learning to learn by gradient descent by gradient descent</a>》，就包含了早期的 Sonnet 代码。现在，该算法库的完全版本以 “Sonnet” 新名称重新包装。</p>    <p>DeepMind 在博客上表示：</p>    <blockquote>     <p>“我们仍在不断开发这一代码库，但当前版本已经对我们的研究贡献巨大。接下来的代码发布，将以今日发布的版本为基础。</p>     <p>向公众开源 Sonnet，能方便 DeepMind 与深度学习社区分享我们的算法模型。当然，我们也殷切希望，Sonnet 能够帮助社区同仁将研究更进一步。最近几个月，我们已经开源了公司的旗舰平台  DeepMind Lab，并正在和动视暴雪合作，针对《星际争霸 2 》的 AI 研究开发开源 API 。更多工具的发布正在路上，我们将会在官网<a href="/misc/goto?guid=4959005356298912163" rel="nofollow">开源页面</a>与大家分享，敬请期待。”</p>    </blockquote>    <p><strong>技术特点</strong></p>    <p>雷锋网获知，Sonnet  走的是面向对象（object-oriented）的路子，与 Torch/NN 类似，使得定义某些运算前馈通路（forward pass）的模块能够被创建出来。模块使用输入 Tensor 来调用，这向计算图（Graph）添加任务，并返回输出 Tensor。其中一项设计目标，是确保以透明的方式进行变量分享。这是通过对同个模块接下来的调用，自动重复使用变量来实现。</p>    <p>DeepMind 认为，许多深度学习文献中的模型，可被看做是一个等级结构（hierarchy）。比方说，一个 Differentiable Neural Computer （可微分神经计算机）包含一个控制器，这有可能是一个 LSTM，后者可按照包含标准线性层的形式来执行。DeepMind 发现，编写明确代表了子模块的代码，使得代码重复使用变得更容易，试验变得更快。因此，对于能在内部 declare 其他子模块的模块，Sonnet 支持鼓励其编写；或者在模型创建期间传递给其他模块。</p>    <p>DeepMind 认为十分有用的另外一项技术，是允许特定模块在随机聚集的 Tensor 群组上运行。RNN 的状态，最适合于以异构 Tensor 集合来表示，用扁平列表来表示它们很容易会导致错误。Sonnet 提供了处理这些随机等级结构的功能，所以改变你的试验，使用另一种 RNN，并不需要繁冗地修改代码。DeepMind 已经对核心 TensorFlow 做了修改，以更好地支持这一使用情况。</p>    <p>Sonnet 专为 TensorFlow 而设计，因此并不会导致用户无法访问底层细节，比如 Tensors 和 variable_scopes。在 Sonnet 中编写的模型，可与原始 TensorFlow 代码自由地混在一起，和其他高级算法库也可以。</p>    <p>最后，DeepMind 在博客上表示将会不断更新 Sonnet，使开源版本与公司内部使用版本相吻合。</p>    <p>via <a href="/misc/goto?guid=4959005356379016948" rel="nofollow">deepmind</a></p>    <p>来自: <a href="/misc/goto?guid=4959005356465773422" id="link_source2">雷锋网</a></p>