诺亚神经响应机NRM模型：深度学习改变自然语言对话

图灵测试是人工智能的梦想，它所要完成的任务是机器智能判定实验，即让机器和人能够通过自然语言对话（Natural Language Dialogue，NLD）来沟通。这项长期困扰研究人员的工作，因为深度学习的引入，有了新的进展。

最新的 NLD 工作，在基于检索的对话中引入深度学习，华为诺亚方舟实验室（简称诺亚）是最早开始此项工作的玩家之一。从 2013 年开始，诺亚在短文本对话领域有一系列的工作【1】【2】【3】。今年 3 月初，诺亚的研究人员在 arXiv 上公布的一篇论文（这篇文章也将在今年 7 月的 ACL 会议上发表【4】），第一次提出了完全基于神经网络的对话模型“神经响应机”（Neural Responding Machine，NRM），用于人机之间的单轮对话（single-turn dialog）。

诺亚研究人员介绍，对用户说的话，NRM 用一种混合机制来进行表示，从而既对文本有整体的把握，又充分保留了句子的细节信息。在对输入问题的表示的基础上，NRM 采用了递归神经网络（Recurrent Neural Network）来逐字的生成自然语言的句子作为回复。NRM 从五百万个（微博，回复）对中学习人的回复，这些学到的模式存于系统的近四百万参数中。因为 NRM 中部分采用了 attention 的机制，可以相对容易掌握比较复杂的模式，如：

人:  你好，我是利锋。

NRM:  利锋你好！

当然，NRM 以及随后出现的类似模型，如 Google 的 Neural Conversational Model（NCM）【5】， 还停留在对复杂语言模式记忆和组合上，尚无法在对话中使用外界的知识。例如，在对“看了昨晚恒大的比赛了吗？”这样的句子，无法给出真实的状况（例如昨晚 恒大比赛的结果）相关的回复。

但依旧不能否认 NRM 的意义。此前的近几十年，研究人员不懈努力而生成的对话系统（dialogue model），大都是基于规则和模板， 或者是在一个较大的对话数据库中进行搜索。这种两种方式并非真正的产生对话，又缺乏对语言的有效理解和表示。囿于模板/例子的数量和表示的局限性，这些方 式在准确性和灵活性上都存在一定的不足，很难兼顾语言的自然通顺和内容的适当切题，效果与引入深度学习的模型不可同日而语。

所以说，NRM 模型的提出，更多的可能性和想象空间才刚刚开始。事实上，诺亚已经以此为基础展开深度学习在对话方面的深入研究，包括多轮对话（multi-turn dialog），与强化学习（reinforcement learning）结合的对话管理，以及在对话中引入知识（knowledge）等。

参考文献

【1】  H. Wang, Z. Lu, H. Li, E. Chen. A Dataset for Research on Short-text Conversations. In Proceedings of EMNLP, 2013

【2】  Z. Ji, Z. Lu, H. Li. An information Retrieval Approach to Short-text Conversation. arXiv: 1408.6988, 2014.

【3】  B. Hu, Z. Lu, H. Li, Q. Chen. Convolutional Neural Network Architectures for Matching Natural Language Sentences. In Advances of NIPS, 2014

【4】  L. Shang, Z. Lu, and H. Li. Neural Responding Machine for Short-text Conversation. In Proceedings of ACL,2015.

【5】  O. Vinyals, and Q. V. Le. A Neural Conversational Model. arXiv: 1506.05869，2015