MSRA周明：计算机能“理解”多少我们的语言了？

1770年，库克船长的“努力号”抵达澳大利亚昆士兰海岸。他留下一些船员维修船只，自己率领一支队伍出发探险。遇上当地土著居民后，一个船员用手指着身体袋囊里揣着幼崽跳来跳去的动物，问一个土著，这东西叫什么？土著说：“

Kanguru。”自那以后，库克和他的手下便如此称呼这种动物——袋鼠（后来写作Kangroo）。很久以后他们才明白， Kanguru在土著语言中的意思是，“你说什么？”

在地球的任何一个角落，你都能发现在一起的两个人，总会彼此交谈。如果没人能对谈，人会自言自语，对猫儿狗儿说话，甚至对盆栽呢喃。

你或许并未察觉，阅读这些文字时，自然界的奇迹正在发生。你我都属于有这种惊异能力的种族——我们能精确描绘彼此脑中的概念——这种能力就是语 言。我们只要张开嘴，发出声音，或者写下文字，就能将彼此心中的意念准确地传递给对方。这个过程如此轻松自然，让人意识不到它的存在。

然而对最强大的计算机来说，理解人类语言并非易事——这便是自然语言理解的研究领域——所谓“自然语言理解”就是 人与计算机可以进行有效沟通，计算机能理解用户的意图，执行命令或回答问题 。而作为这个领域的研究人员，我们一直努力向这个目标迈进。

机器翻译

老彼得·布吕赫尔 画笔下的巴别塔

《创世记》第 11章记载，人类原本说着同一种语言，居住在与幼发拉底河相距不远的示拿之地。人们利用河谷的资源建城筑塔。高塔直达天堂，逼近上帝。上帝认为人类过于自信团结，一旦完成计划将为所欲为，便决定变乱人们的口音和语言，并使他们分散各地。高塔于是停工，该塔被称为“巴别”。

如今，现代交通和网络的发展令使用不同语言的人们合作和交流的机会比以往更多，因此对理解对方语言，人们有着迫切的需求。

而在 1940年代，计算机刚刚出现，计算能力相当弱，但那时候就有研究者提出了使用计算机进行翻译的想法，并进行了尝试。不过第 一次引起公众关注要到1954年，那年1月7日，美国乔治城大学的研究者和IBM利用6条规则，250个词汇，完成了一次俄英机器翻译演示——二战后，苏 联是美国的头号对手，了解这个国度的一举一动是那时政府的迫切需求，尤其是科学报告。60多条俄文短句，预先转写为拉丁字母，内容涵盖有机化学、政治、法 律、数学等领域，由一名不懂俄语的女操作员输入一台IBM 701主机，几秒钟后打印出英文结果。这一项目的主要负责人Leon Dostert在演示后乐观地预言：“再有五年，说不定也许三年，用计算机翻译多种语言就将变成现实”。

这次成功的演示和公众高涨的热情为机器翻译研究带来了资金，掀起一阵计算机语言翻译研究的热潮。而当人们期望过高，承诺又无法兑现时，资助就缩减或取消了。就像那个时代人工智能领域的众多分支一样，研究者们低估了问题的难度。

• “十年内，数字计算机将发现并证明一个重要的数学定理。”（ H. A. Simon，Allen Newell，1958年）
• “二十年内，机器能完成人能做到的一切工作。”（ H. A. Simon，1965年）
• “一代之内……创造‘人工智能’的问题将获得实质解决。”（ Marvin Minsky，1967年）
• “三到八年我们将得到具有人类平均智能的机器。”（ Marvin Minsky，1970年）

许多字词不只有一个意思， 想要正确翻译一句话，计算机必须消除歧义，选出使句意最为通顺的解释，否则就容易犯荒唐的错误 。一个有名的例子是“ the spirit is willing but the flesh is weak”（心有余而力不足），用当时的翻译系统译成俄文再译回英文就变成了“the vodka is good but the meat is rotten”（伏特加不错，但肉已腐烂。spirit有“烈酒”的含义）。

1964年，美国国家科学研究委员会（National Research Council，NRC）开始关注这个领域长期未能取得进展的问题，进而成立了语言自动处理咨询委员会（Automatic Language Processing Advisory Committee，ALPAC），调查机器翻译的研究状况。两年后，ALPAC发布了一份改变整个领域的报告。报告对当时的机器翻译持高度怀疑态度—— 认为当时的机器翻译比人工更耗时、质量更糟，更烧钱，应当注重更基础的计算机语言学（Computational Linguistics）研究，注重引入词典、翻译例句、人工等手段提升整体的翻译质量。这份务实的报告，对机器翻译研究敲了警钟。在ALPAC报告的影 响下，不单NRC停止了对机器翻译项目的资助，那些已建立的机器翻译研究机构或遭遇行政阻碍，或经费困难，世界范围内的机器翻译热潮突然消失，整个领域空 前萧条——这也是后来被称为 人工智能严冬（AI Winter）的开端 。

尽管在那之后，个人计算机出现和电子词典开始流行，让基于规则的机器翻译研究在部分国家有所复苏（例如日本各大电子厂商），但研究水平不高，仅在有的场合聊胜于无。

直到1990年代，基于数据驱动（譬如大规模双语对照的数据，和大规模的单语数据）的统计机器翻译开始兴起，这个领域才又重新活跃起来。 新思路靠自动学习概率化的翻译规律（譬如词对词的翻译，n-gram之间的翻译，或者短语之间、子树之间、句型之间的翻译）来实现翻译系统。 这个时期数据规模越来越大，尤其双语对照的数据越来越多。那之后的二十余年，这个领域的研究主流都基于统计机器学习方法。

机器翻译的难点在于领域迁移和自适应 。 训练机器翻译系统的原始数据可能来自宽泛的各个领域，遇见某个具体领域生僻的词语、句型时，如何快速迁移，以得到高水平的翻译颇为不易 ，因为这些领域的语料库掌握得少，迁移时知识不足。目前几家著名的在线翻译系统，新闻翻译尚可胜任（因为新闻语料最多），但对银行、法律这些语料稀缺的领域，自适应能力则薄弱许多。

另一个难点是口语翻译，因为口语中夹杂着表达不连贯，语法顺序颠倒，用词不精准、重叠、省略等各种现象，而机器翻译系统大多针对书面语训练，突然用在口语里，表现就会一塌糊涂。 因此需要加强对口语现象的处理能力，以及对上下文的理解能力。另外，未来的机器翻译需要与手机语音应用配合，提升对地图、导航、购物、交友、邮件、新闻阅读等的支持，在这个方向还有很长的路要走。

2012年10月，微软研究院的研究取得了阶段性的重要成果，微软研究院创始人Rick Rashid在天津的“21世纪的计算大会”上公开演示了一个全自动同声传译系统，他的英文演讲被实时转换成与他的音色相近、字正腔圆的中文，赢得了现场 观众的掌声。这项技术是由微软亚洲研究院和雷德蒙研究院从事语音识别、合成和机器翻译的很多同事共同开发的。这一演示背后的关键技术——DNN（深层神经 网络）也随之第一次进入了许多人的视野。 在语音识别过程中，DNN使准确率提升了25%，而将这项技术应用于机器翻译解码优选过程，这项技术令翻译的准确率又提高了1-2个百分点 。

在这次成功演示之后的两年多里，我们微软亚洲研究院和位于美国总部的微软雷德蒙研究院共同努力，不断地改进中英实时语音翻译，于今年4月发布了 Skype Translator 实时语音翻译技术的中文预览版，让普通用户也能体验到实时中英文语音翻译。 Skype Translator构建于一个10亿对量级的超大规模双语对照语料库基础之上，应用机器学习的方法，在海量的候选集中找到最佳的译文。 作为人与人之间的沟通工具，Skype Translator针对口语对话中常见的问题进行了处理，并提供了许多具有本地语言特色的服务。

有人说，语音识别在过去两年产生了质的飞跃，而 机器翻译虽然已有六十年的研究积累，但是在处理语音和口语方面则方兴未艾，虽然我们用了大规模的语料训练，但是方法还是十年以前的统计机器翻译 ——它正期待着更大的突破。而其中 探索利用深层神经网络在翻译解码的有效方法（譬如利用 LSTM把原文句子经过一个中间表示向量转换为目标语言的句子）引起了很多研究者的关注 。

问答系统和聊天

冬天能穿多少穿多少夏天能穿多少是多少

上面的两句话说明了语言的歧义性。人的言辞孤立地看，有时候有些模糊，不过和旁人讲话，他们总能领会你的用意。设想你对配偶说：“知道钥匙放在哪 儿了吗？”如果对方仅仅回答：“是的，我知道。”你一定不会满意——因为你的真实意思是“快告诉我，钥匙放在哪里了？”这种相互理解就是所谓的“对上下文 敏感”。

不过计算机对上下文可不那么敏感。例如“把香蕉给猴子，因为它们饿了”和“把香蕉给猴子，因为它们熟透了”有同样的结构，但代词“它们”在第一句中指的是 “猴子”，在第二句中指的是“香蕉”。如果计算机不了解猴子和香蕉的属性，就区分不开。媒体记者们早就开始根据搜索引擎的特点，在网络文章的标题上尽量堆 砌关键词，而不是从读者的角度来设计标题——他们宁可牺牲原本雅致的笔触，也要能够适应 “机械”搜索引擎的特点。

由于人们使用语言的随意性和多样性，带来了问题理解的困难。给定一个问题，电脑要理解问题的类型（事实类，定义类，选择性，观点类等）和答案的类型（人、地点、机构、定义、电影名字，文字序列等等）。比如：

• 事实类问题： “谁是奥巴马的夫人 ?”
• 定义类问题： “什么是操作系统 ? ”
• YES-NO 类问题 ：“萨达姆还活着吗？ ”
• 观点类问题 ： “多数美国人对枪支管制的看法是什么 ? ”
• 比较类问题 ： “诺基业手机和苹果手机有什么区别 ? ”

问答系统可以是针对某一个封闭领域的，也可以是无领域限定的, 而后者的难度更大。为了理解问题，计算机需要语义解析，把用户输入的问句转换为一个有结构的语义表达式，然后到相关数据和知识库中寻找答案。很多时候，可 能会有多个看似可行的答案候选，问答系统需要根据一个基于机器学习获得的排序系统进行优选。问答系统的答案可以从结构化的知识库，或者非结构化的自然语言 文档集合来获得，如web，社会关系网络，新闻等。目前，我们实现了 利用知识库、web和社会关系网络的多种智能体来回答问题。知识库适合回答事实类的问题 ，而 基于web的问答系统，也就是把问题丢给搜索引擎，在搜索结果里面直接抽取答案，适合于回答时效性很强的问题 ，如新闻类问题或很复杂的问题。 社会关系网络适合回答主观类的问题 ，譬如“如何考入哈佛大学”，“怎样才能学好日语”等。由于这类问题在社区、社会关系网络里面有很多的讨论，经过信息抽取和问题匹配之后，可以用来回答相 同或者相似的问题。除了以上三种智能体之外，还可以考虑众包智能，就是由系统把问题导引给该类问题的人（专家、附近的人、社会关系网络的好友）来完成。如 能巧妙利用多智能架构，即可大幅度提升问答系统的精确度和覆盖面。

问答系统与机器翻译看似并无明显关联，但是两者实际上可以互相借鉴。 机器翻译的技术可以用于问答系统中，譬如转述、语义解析等，也可以把问答系统变换为一个从问题到答案的翻译过程。 我们后来发现，问答系统中使用的技术也恰能借鉴到机器翻译中，令翻译的质量明显提高——过去，机器翻译需提前在线下实现翻译模型，而 新做法是模仿基于 web的问答系统，将原句直接抛给搜索引擎，利用搜索引擎的搜索结果动态得到词汇或者短语的翻译模型，以及目标语言的语言模型，以实现翻译候选生成和排序 ，这种方式对处理新词和领域自适应颇为有效。

目前几乎所有的问答系统，仅仅考虑当前的输入问句，并没有考虑提问的场景、提问者的特性、以及时间和地点。读者们大概都有过与微软小娜、小冰聊 天，Siri或Google Now对话的经历，用户期待当问答系统进入到这些应用时应考虑这些因素以体现个性化。而“个性化”是对问答系统能力的大考验——提出相同问题，但你我期望 得到的答案却可能千差万别。 问答系统需要依靠用户的历史行为了解用户，包括性格、偏好、朋友圈、买过的商品、说过的话，都会影响系统对用户建模，进而决定给出怎样的回复才会让用户感觉更贴心。 不过，这些问题目前对问答系统来讲还是一个巨大的挑战。

为了实现自然语言的人机对话，除了问答系统，还要有一个聊天系统。 问答系统用于回答问题或者理解了问题之后完成一定的任务。而聊天系统是一个非正式的社会交往需求，用于情感交流与连接。 人们在交流过程中，聊天、问答的技能是穿插进行的。同时，为了体现多样性，答案所采用的句式，以及聊天的回复风格要根据场景和用户的特点发生变化。

微软小冰是我们建立自然的人机自然语言对话的重要尝试。在小冰中，我们除了需要建立问答系统和聊天系统之外，还要根据用户输入的句子，决定是进入聊天还是进入问答。比如：

User Intent = Recommendation Product = Select ?ID Where { ?ID Category 手机 (cellphone) ?ID Brand 诺基亚 (Nokia) ?ID Facet 性价比高 (cost-effective)    }