Nature：能自主学习的人工突触，为无监督学习开辟新的路径

   <p>近日，Nature 发表了一个研究团队开发了一种能自主学习的人工突触，它能提高人工神经网络的学习速度。该研究表明记忆就是神经元间相连接突触的强度分布所表示，而学习可以通过突触的重新配置（即可塑性）而实现。这种能自主学习的人工突触有助于无监督学习的进一步发展。机器之心对该研究进行了简要介绍，详细的研究论文请查看 Nature 上的论文。</p>    <h3>模拟大脑</h3>    <p>人工智能的发展和进步很大程度上归咎于人类大脑模拟技术的支持。在信息技术领域中，这样的 AI 系统被称作神经网络。包含于神经网络中的算法可以进行训练，以模仿大脑识别语言和图像的模式。然而，运行一个人工神经网络是非常费时费力的。</p>    <p>来自 National Center for Scientific Research (CNRS)（the University of Bordeaux in Paris-Sud）和 Evry 的研究员开发了一种能直接嵌于芯片上的人工突触，称为忆阻器（memristor）。这项发明为有快速和节能需求的智能系统的开发铺平了道路，并且忆阻器可以自主学习。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/39701f70313326ab0ec9c826e55de5e7.jpg"></p>    <p>在人类大脑中，突触负责在神经细胞之间建立连接。连接强度的强化和学习是由突触的激活而得到提升的。忆阻器以相似的方式工作，通过在两个电极之间包裹一层薄薄的铁电质（可以自发极化）制作而成。在电压脉冲的作用下，忆阻器的电阻将发生改变，正如神经细胞的工作方式。当电阻较小的时候，突触连接更强，反之亦然。忆阻器的学习能力正是源于其电阻可调的性质。</p>    <h3>更强大的 AI</h3>    <p>在过去几年内，AI 系统得到了令人瞩目的发展。通过学习算法建立的神经网络现在已经能执行过去的人工系统所无法胜任的任务。比如，现在的智能系统可以创作音乐，玩游戏并打败人类玩家，或者帮你纳税。有些智能系统甚至可以识别自杀倾向，或者判断行为的合法性。</p>    <p>这些成就都多亏了 AI 的学习能力，唯一的限制就是学习数据过程中大量的时间和能源的消耗，如果能克服这一点，将成为 AI 进一步发展的跳板。在忆阻器的助力下，学习效率将大大提高，以后的研究工作将延伸到忆阻器上，特别是研究优化函数的方法。作为出发点，研究员成功的建立了一个物理模型以帮助理解忆阻器的工作模式。他们的工作已经发表在 Nature Communications 上。</p>    <p>很快，我们将拥有能媲美我们大脑的学习能力的 AI 系统，或许，它们还能做的更好。</p>    <p>以下是该研究的概要：</p>    <p>在大脑中，学习是通过突触重新配置神经元间的连接强度（突触的可塑性）而实现的。在称之为忆阻器的固态突触中，电导率可以通过电压脉冲进行精确的调整，并且根据称为 spike-timing-dependent plasticity（STDP）的生物学习规则进行演化。未来神经形态架构将包含数十亿这样的纳米突触，这就需要对可塑性的物理机制有一个清晰明确的认识。我们的论文报告基于铁电质隧道结点（ferroelectric tunnel junctions），并且我们的研究表明 STDP 能从非均匀极化转换（inhomogeneous polarization switching）中得到处理。通过组合的扫描探针成像、电传输和原子尺度的分子动力学（molecular dynamics），我们展示了电导变化能通过成核主导（nucleation-dominated）的域逆转进行建模。基于这种物理模型，我们的模拟展示了铁电质纳米突触（ferroelectric nanosynapses）阵列能自主地学习并预测识别模式，这为脉冲神经网络的无监督学习开辟了一条新路径。</p>    <p>简介</p>    <p>皮质信息可以从突触之间的可变连接强度从一个神经元流到另一个神经元。突触强度的总体分布为神经网络提供了记忆，而学习可以通过突触的重新配置（即可塑性）而实现。现已提出了几种调节突触强度演化的机制。特别有潜力的是 spike-timing-dependent plasticity（STDP）生物学习规则，它的突触强度会根据来自近邻神经元的时间和因果的电信号而发生改变（如图 1a 中的草图）。如同在生物系统中观察的那样，STDP 能在没有任何外部控制突触强度或任何需要处理信息的先验知识下实现学习。这令 STDP 可以成为自主无监督学习的基础，因此用人工神经网络实现 STDP 将成为实现自适应电子架构的重要里程碑。</p>    <p><img src="https://simg.open-open.com/show/1b58c211a204b4492b242e810ae39b64.jpg"></p>    <p>图 1：基于 FTJs 的人工突触。</p>    <p>在上图中，(a) 为通过突触连接前神经元和后神经元的示意图。突触的传输可以通过神经元脉冲的因果关系（Δt）而调制。(b) 为铁电质忆阻器的示意图，其中 BiFeO3（BFO）的铁电质隧道势垒（ferroelectric tunnel barrier）夹在 (Ca,Ce)MnO3 (CCMO) 的底电极和 Pt/Co. YAO 的顶部亚微细粒柱之间。(c) 铁电质忆阻器的单脉冲 hysteresis loop 展示了清晰的电压阀值。(d)STDP 在铁电质忆阻器中的度量。</p>    <p>实验结果</p>    <p><img src="https://simg.open-open.com/show/fff468a2559449733da2b4a812e85b0f.jpg"></p>    <p>图 2：由成核限制（nucleation-limited）的铁电质域转换主导的忆阻器。</p>    <p><img src="https://simg.open-open.com/show/06cd15357d5f5b679ef4ebca951922d6.jpg"></p>    <p>图 3：通过铁电质突触预测 STDP 学习。</p>    <p>讨论</p>    <p>我们现在利用这个物理模型在基于铁电质突触的脉冲神经网络中模拟无监督学习。这些模拟将作为测试平台以研究 STDP 信号波形对网络识别图像模式能力的影响（水平线，对角线和垂直线的条形分别代表 A，B 和 C，如图 Fig.4a 所示）。模拟网络由一个按 9x5 横梁（crossbar）排列的铁电质忆阻器阵列构成（Fig.4a）。9 个脉冲输入神经元中的每一个都编码了含噪图像的一个像素，其中包含了三种模式之一以进行识别。输出神经元将流经每一列的忆阻器的输入信号积分，然后在达到阈值的时候激活。Figure 4b 展示了随着图像展示的数量的增加，网络的识别率也随着提高，低噪图像的识别率达到了 100%，而高噪图像的识别率也几乎达到了 80%。Figure 4b 也展示了每一行中 9 个忆阻器中的电导率的变化情况，通过彩色的 3x3 像素图表示。在网络学习的时候，第 1，2 和 4 行的电导率图像最后都汇集为三个输入模式之一，而第 3，5 行的忆阻器电导率仍然保持随机。经过学习之后，正如 Figure 4c 所说明的，其中的 3 个输出神经元（在这个例子中是第 1，2，4 个）汇集于三个输入模式的每一个，并在相关输入出现的时候激活。我们的研究揭示了，成功的无监督学习相当依赖于训练前和训练后的神经元脉冲的确切的信号波形。Figure 4d 展示了，根据之前所示的例子，在经过精心调控训练后神经元脉振幅在 0.82 到 0.98V 之间后，识别率达到了 100%。然而，当训练后神经元脉冲波形仅仅稍微低于或者高于那个范围的时候，识别率迅速下降。我们的模拟强调了对忆阻器的动力学的精确知识的了解的重要性，然后才能据此建立精确的物理模型基础。</p>    <p><img src="https://simg.open-open.com/show/18cac6e5be672d9a5563224199dc8d99.jpg"></p>    <p>图 4：通过铁电质突触的无监督学习</p>    <p>我们已经确定 STDP 能从铁电质忆阻器本质上的非均匀极化转换中获得利用。结合时间依赖的传输测量，铁电畴成像和高效的哈密顿原子 MD 模拟，我们展示了铁电质的转换可以潜在的电阻变化可以通过成熟的成核限制模型来描述。通过这种物理模型，我们可以可靠地预测具有不同神经输入的铁电质突触的电导率变化。这些结果为在未来脑启发计算中实现数十亿的可预测人工突触（如深度神经网络）铺平了道路。</p>    <p> </p>    <p>来自：https://www.jiqizhixin.com/articles/2017-09-18-6</p>    <p> </p>