Cortana 背后用到了哪些 Bing 技术?

jopen 10年前

Cortana 背后用到了哪些 Bing 技术?

        微软 Build 2014 宣布了个人数字助理 Cortana。相比苹果 Siri 和 Google Now,微软 Cortana 是晚来者,但在技术积累方面微软早已有全盘计划 – Cortana 是微软 Bing 平台和微软研究院投入的重要成果,也不会局限于 Windows Phone 8.1(背后故事可以阅读此文)。

        在发布会上,微软宣布 Cortana 由 Bing 驱动,至于具体用到了哪些技术,我们可以先来看看 3 个 Cortana 使用场景1 段 Cortana 解说视频

  • 场景 1:我计划前往西雅图,航空公司给我发送了一封航班的确认邮件。

    – Cortana 会把邮件中的这些关键词(航班号、出发地、目的地、日期和时间等信息)识别为结构化数据

    – 再通过 Bing 平台识别为航班类别,返回到手机询问我是否将其设置为航班提醒

    – Bing 数据流处理系统会主动监控该航班的状态

    – 在登机前 2 小时,Cortana 给我发送提醒:航班状态、交通路线、机场室内地图

  • 场景 2:我希望到家后提醒我倒垃圾。

    – 我的语音被传输到云端,被语音识别系统转换成文字

    – 识别过程中通过深度神经网络技术理解自然语言序列

    – 文字被传输到推理系统来判断用户意图,并生成“如果……就……”的条件规则

    – 规则返回到手机后,Cortana 会根据位置提醒我的命令(由于之前的交互,Cortana 知道家的位置)

  • 场景 3:我想知道明天上海是不是寒冷。

    – 和场景 2 一样,我的语言命令被识别为文字

    – 自然语言处理系统会将“寒冷”关联为天气,并从 Bing 知识库中查找上海的天气信息

    – 从天气信息的数据源获取明天的上海的天气,返回到 Cortana 显示

Cortana 背后用到了哪些 Bing 技术?

        Cortana 背后极大地依赖 Bing 信息平台的服务和数据,以及微软研究院的技术研究,上述的任务都由一系列不同技术组合完成。Cortana 的设计理念是基于“最顶尖的机器学习和数据挖掘算法”,自然语言处理、语义分析、语音技术、Bing Satori 知识库和自学习系统等都是其中的核心技术。

  • 自然语言处理/语义分析技术

    将自然语言文字处理为计算机系统可处理的信号,并加以分析、理解,从而理解用户意图。微软自然语言计算组成立于 1998 年,专长于翻译、输入法、问答、社交文本挖掘、搜索引擎、口译、手语翻译等。

  • 语音技术

    将用户的语音识别为文字,将文字合成为语音。微软的语音技术研究始于 1993 年,大家熟知的 Tellme 是 07 年微软花 10 亿美元买下了语音识别技术公司。目前微软 Bing 语音平台整合于微软各产品线:Windows 和 WP 操作系统、Kinect、车载系统等。

  • 深度神经网络技术

    微软研究院利用深度神经网络(Deep Neural Network)技术,通过模拟人脑的自然语音模式来辅助语音识别,成果就是提高语音识别精度和速度。曾经的两个演示:实时语音机器翻译WP8 语音识别改进

Cortana 背后用到了哪些 Bing 技术?

  • 数据流处理技术

    追踪数亿级别的实时事件信息,比如追踪全球航班信息、交通流量/路况、新闻、赛事信息,从中匹配条件调用需要的信息推送给用户。

  • 用户相关性信息技术

    识别和用户个体相关的位置、爱好、关注点、联系人(Cortana 在 Notebook 中存储用户的个人兴趣点和信息),并加入机器学习算法,不断增强对用户的了解,并改进数据挖掘的相关性。

  • Bing 知识库(代号 Satori)

    Bing 知识库是微软必应 2012 年推出的“实体”数据库,这里的实体是指真实世界中的人物、地点、事件等,Bing 存储着这些实体的信息和关系,并在不断增长索引量。目前我们可以在 Bing.com 右边栏看到 Bing 知识库的信息。

  • 对话管理理解技术

    负责人与机器上下文的对话,用户可以分多次完成一个查询,或者说是追加命令或问题,Cortana 同时会考虑整个对话的内容。

  • Bing 可扩展性计算/数据平台

    并行处理用户的数亿各类查询,包括上面提到的知识库、数据流,信息的推送。

        接下来,微软的愿景是将 Cortana 扩展到更多平台、更多领域的信息,更多人机交互方式 – 在现有的语音、文本之外,还有手势、体感等。(参考来源 Ars TechnicaTechNetMSR

来自: livesino.net