看 Nervana 如何利用深度学习实现数据革命

   <p>2016 年 8 月，英特尔为了加强其人工智能领域的能力，以 4 亿美元的天价收购了机器学习初创公司 Nervana 。该初创公司成立仅仅两年，却被公认为是机器学习技术开发的领导者。近日， Nervana 的联合创始人兼首席执行官 Naveen Rao 博士在 StrataHadoop 上和大家深入探讨了深度学习的话题，通过其PPT，我们也能了解Nervana价值所在。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/4227d12461b60d25282aa248ef70a105.jpg"></p>    <p>Naveen 探索了许多方面，包括深度学习相对于其他机器学习技术的好处、该领域的最新进展、深入学习工作流程、开发和部署深度学习解决方案的挑战、用于构建和扩展深度学习解决方案的标准化的工具等等。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/bacf211b0d16048a7edf147470db694c.jpg"></p>    <p>不同于大家以往的认知，深度学习究竟是什么呢？这是一种模仿人脑机制分析数据的机器学习方法，从多层抽象中抓取特征。我们认为真正重要的是从数据中提取有用的信息，并通过统计信息作出判断。 我们拥有数据科学领域内的权威专家，通过庞大的数据量提高学习性能，最终获得高度具象化的能力。</p>    <p>这种能力是非常强大的，类似于过去二十到二十五年间计算机对于人类的意义。在短短的两年内，深度学习这种新方法就被广泛地应用于工业中了，包括通信、语音处理、图像识别以及视频处理等等，其中大量的数据都可以被人们利用，所以我认为未来的前景是非常光明的。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/2aaf7327dcb935640fa68d84346042a3.jpg"></p>    <p>深度学习的模型有很多，但基本结构都各不相同，可能会导致这些模型具有不同的特性。这里我很快和大家一起回顾一下这些常见的深度模型。</p>    <p>左上角的模型是目前最常用的卷积神经网络（CNN）模型，非常适用于视觉系统和图像分析。 右上角的模型是复发性神经网络（RNN）则适用于各种基于时间或序列的建模。金融系统和语言模型通常使用 RNN。 其他 非主流的 方法还有很多，比如下方的这三种：堆叠自动编码器，多层感知器（MLP）和深信度网络（DBN）。 未来五年的很多创新将来自堆叠自动编码器领域，但目前我们还不知道要如何开始选取目标。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/2bf07e3dc2024c10a1caf31c63d6de35.jpg"></p>    <p>这里我们可以看到一些真实的实验结果，这个系统通过抽象化实体，提取出丰富的代表性特征，这才是我们真正的力量来源，并且其抗干扰能力很好，无法被轻易改变。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/649a869f9a667b499eb976c5ddd4a4f9.jpg"></p>    <p>这个的意义在于，可以自动处理以往需要人工完成的任务。我们也做了一些测试，让大家可以看到其性能。目前，训练有素的人类通常错误率为 5%，而深度学习在图像和语音任务中的错误率仅为 3%。因此，我们相信几年后，深度学习在这两方面的能力甚至会远远超越人类。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/2af949a0c096a47d3a8da150aa12d3cc.jpg"></p>    <p>这是一个深度信用网络，我们看下是如何利用它来解决数据问题。这个系统有两种使用方式：第一种是我们可以输入一些数字对应的手写样式，系统可以利用这些数据样本判断出是哪个对应数字；第二种是我们给定某个数字，系统可以模拟出其对应的各种可能的手写样式。</p>    <p>比如这里，系统根据一系列“5”的手写体判断出这是数字“5”。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/71de5e29c2b92775df73290d9b2bc629.jpg"></p>    <p>再比如这里，当我们输入数字“0”，系统经过一系列手写体样式处理，会实时地显示各种形态各异的“0”，但毫无疑问，从视觉上大家还是可以判断出这是数字“0”。</p>    <p>这是非常有趣的一件事，这意味着我们可以输入一系列实例，从中抽象出具体的共同特征。</p>    <p><img src="https://simg.open-open.com/show/4bc41bec216eae6686940c072f1ba419.jpg"></p>    <p>这个深度学习平台实现了针对行为探测的 3D 卷积模型，基于 100 种类别、1 万 3 千多个视频的公共数据集，使训练速度比竞争对手的框架快了大约 3 倍。同时，该平台也能扩展到其他场景、对象的识别，行为相似度平行对比，视频检索和异常检测。</p>    <p>其潜在应用包括：在机场或地铁站等乘客密集的场所实施安全监控、交通管制及车辆管理、航空管制侦测、基于面部识别和图像处理的安全系统检索功能、自动驾驶的感知和防撞系统、公共场所的行李检测等等。</p>    <p><img src="https://simg.open-open.com/show/8b7852cec698d9a0e7361b657b21a061.jpg"></p>    <p>语音可以看做是一个个单词的随机组合，所以要将语音转变为文字是很困难的。但是，经过大量的训练，系统也可以识别出大部分的单词。深度学习在语音-文本转换中的表现同样令人印象深刻，诸如百度等等公司的自然语言处理技术已经非常成熟，可以根据需要转换成任何一种语言文字，这就如同魔法一样神奇。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/333d4866fd8f9bf97430cb64692a3ffe.jpg"></p>    <p>如同历史发展的必然规律，当达到某个拐点后会突然爆发，现在就处于数据科学的拐点处，利用深度学习实现对数据的最大化利用。</p>    <p><img src="https://simg.open-open.com/show/15a6b70b91d3dfa384fa009d99f38f36.jpg"></p>    <p>CPU 的训练时间是单个 GPU 的三十多倍。</p>    <p><img src="https://simg.open-open.com/show/22aaa43742f8c72af2a7a74179c126e5.jpg"></p>    <p>数据并行是最常用的方式之一，每个处理器中都有一个全深度网络，将各个数据容器中的参数统一协调至参数服务器中。但是这并不是最好的方式。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/552fd8c6a2d8c0cdb451cdacb6c2533b.jpg"></p>    <p>一个更好的方式是模型并行计算，如图所示。</p>    <p><img src="https://simg.open-open.com/show/5b36af56e469bba167f031711a658cff.jpg"></p>    <p>Nervana 的另一个优势在于 I/O 范围。通常处理器越多，深度学习的速度就越快。但是普通的工业系统随着处理器数目的增多，学习速度会达到某个极限值而不再增加。而 Nervana 平台不光能提高单个处理器的学习速度，而且还没有学习速度的上限，可以根据需要不断增加处理器个数。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/76f77d9077323b5315cce39f248c509f.jpg"></p>    <p>我们仍在继续努力研发新的技术，力争明年能将现有速度提升十倍以上。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/17481814e7ccc6ee20434f18cbde8aa8.jpg"></p>    <p>Nervana 平台是一个全栈式解决方案，基于 Nervana 深度学习框架平台和 Nervana 云，实现输入、构造、训练和部署。</p>    <p><img src="https://simg.open-open.com/show/48ec61424c871df6e5de475dd8e2bd92.jpg"></p>    <p>深度学习作为 Nervana 的核心竞争力，已经围绕其构建了图像分类、目标定位、视频检索、文本分析、机器翻译等功能。</p>    <p><img src="https://simg.open-open.com/show/1d803936f53499413527ebd9467ea3a8.jpg"></p>    <p>Nervana 拥有最快的深度学习库。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/0a766147917369b954e0480baca68db9.jpg"></p>    <p>Nervana 的 Python 深度学习库界面友好，可扩展性强，支持多种深度学习模型，并且提供连接 Nervana 云的接口，还支持多后台（包括Nervana 引擎、 GPU 和 CPU）。</p>    <p><img src="https://simg.open-open.com/show/212b4c1d9e4e70e175356ed4a411b62b.jpg"></p>    <p>这是系统的网络界面，Nervana 为用户提供了大量可以直接调用的 API。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/15ffa3d04ce501fd2e0a582d660c266e.jpg"></p>    <p>深度学习的作用在于建立一个发现数据中有用信息的框架，但要使这个框架平台运行速度更快、处理规模更大、解决方案涵盖面更广，仍然有很多困难。</p>    <p>Nervana 目前拥有最先进的深度学习平台，非常便于利用开发出的相关工具，从复杂关系中抽象出有代表性的目标特征。除了之前提过的各种应用外，还 可以用于快速定位石油井、天然气田，以及农业精细化运营等。</p>    <p> </p>    <p> </p>    <p>来自：http://www.leiphone.com/news/201609/EBEJ7AZK60NnSh0c.html</p>    <p> </p>