7年卧薪尝胆 iPhone X面部识别解析：AR是重点
jopen 7年前
<p>2010 年 6 月，乔布斯发布了堪称经典的 iPhone 4，这一代 iPhone 距离加入指纹识别还有 3 年。</p> <p>而仅 3 个月后，苹果收购了一家叫 Polar Rose 的瑞典公司，这是一家只有 15 人的小公司，苹果看中的是不是别的，正是 Polar Rose 独有的人脸识别技术。</p> <p>没错，这就是 7 年之后在 iPhone X 上搭载的 Face ID 的前身。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/226a90826afcd7e401c8bf80adc26e1a.jpg" /></p> <p>很难想象，就在指纹识别还没有诞生的 2010 年，苹果公司已经开始布局 3D 视觉，并在蛰伏 7 年之后，先以面部识别的形式出现。</p> <p>所以当有言论称 Face ID 只是 iPhone 解决屏幕下指纹之前匆忙上马的替代品时，不得不承认，我们太小看苹果帝国了。</p> <p>Polar Rose 主要技术是利用人工智能从事图像视频分析，从二维图像中提取三维信息，但在 3D 视觉上的布局苹果还是比微软慢了一步。</p> <p>因为早在 2009 年 6 月份的 E3 大展上，微软正式发布了体感游戏设备 Kinect，它改变了人们与游戏交互的方式，我们晃动身体就能玩游戏（此前任天堂的 Wii 仍需要遥控棒）。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/559b433a0353d52e9974c1a911809c2e.jpg" /></p> <p>而这里的一个关键即使就是深度摄像头，它用于捕捉人的肢体动作，然后交由程序去去识别、记忆、分析处理这些动作，这项技术由一家叫做 PrimeSense 的公司提供。 </p> <p>PrimeSense 是一家成立于 2005 年的以色列公司，并于 2006 年研发出了 3D 传感器。</p> <p>它的创始人都具有很强的科研背景，当时游戏行业已经有些停滞不前，他们一直在思考如何进行变革，比如让人拿起游戏中的剑而不是遥控手柄，最终 PrimeSense 锁定了摄像头。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/3b23b1ac28b84324aa6922b15e59c8d0.jpg" /></p> <p>在当年的游戏开发者大会上，PrimeSense 对外展示了 3D 传感器在游戏领域的前景，被微软慧眼识珠，催生了后来的 Kinect。</p> <p>PrimeSense3D 识别的技术主要是结构光的一种——Light Coding（光编码技术），我们知道摄像头想要捕捉人体的动作，需要通过判别景深来实现。</p> <p>结构光即将光线结构化，其原理是使用投射器将光栅或线光源等投射到被测物上，在被测物体表面形成畸变的形状，比如下图中的条状光栅，就在鱼表面投射出不规则的线条。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/ba125ff9d31c0ada4ec6d0cc1a00a96d.jpg" /></p> <p style="text-align:center">↑↑↑结构光技术原理</p> <p>这样一个畸变的图像被另外一个位置的摄像机捕捉到，就获得了从它的角度看到的线条。</p> <p>当投射器和摄像机的位置固定时，它所捕捉到的线条畸变程度也是一致的，这样畸变的二维图像可以还原物体表面的三维成像，这里主要运用了光学的三角法测量原理。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/50abf0783b45f1e95cf21d561b367f8d.jpg" /></p> <p>↑↑↑结构光技术原理</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/42e1de74133f024b92b1ff4888aa773e.jpg" /></p> <p>而 PrimeSense 使用的 Light Coding 还有些不同，它会在空间上打出一种叫做“激光散斑”的光源，这种光源的特点是具有高度的随机性，随着距离的不同会出现不同的图案，这样不同空间的散斑都一样。</p> <p>这样光源打出去之后，相当于整个空间已经被标记，当有物体放入这个空间之后，通过散斑的变化就可以监测到物体的空间位置。</p> <p>PrimeSense 会在空间中每隔一段距离记录参考平面的一幅散斑图案，形成一个立体的散斑图案群。</p> <p>当有人进入空间之后再记录一次与之前形成对比和相关运算，就能获得整个场景的三维图像，微软的第一代 Kinect 景深图像就使用的这一原理。</p> <p>从 2009 年开始，科技公司纷纷发现 3D 视觉是一个尚未挖掘的巨大宝藏，包括微软、英特尔、谷歌、索尼、三星等公司均通过收购和自主研发投入到 3D 视觉的开发中去。</p> <p>2009 年和 2010 年，微软收购了 3D-TOF 相机公司 canesta 和 3dv，2013 年，英特尔推出 RealSense 实感技术，谷歌推出 Project Tango 项目。</p> <p>讲到这里，我们还没有看到多少苹果的影子，不过从微软宣布与 PrimeSense 分道扬镳之后，苹果才算刚刚登场。</p> <p><strong>微软自研 TOF 苹果捡漏成就 Face ID</strong></p> <p>2013 年新一代的 Kinect 面世，并没有继续用 PrimeSense，而是选择自主研发 3D 传感器。</p> <p>事实上 Kinect 二代的采用了与 PrimeSense 结构光截然不同的 3D 视觉技术——TOF，这些技术积累正是来源于之前收购的公司 canesta 和 3dv，3dv 手里握着 TOF 摄像头的专利，此前一直认为一代 Kinect 使用的是 TOF 技术。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/39e6603c972d45c78d4d32757be3e337.jpg" /></p> <p>TOF 是 Time of flight 的简写，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。</p> <p>通常是通过 LED 发射红外线，成像传感器接受物体表面反射的红外线，设备会发射一个强度随时间周期变化的正弦信号，通过获得发射、接受信号的相位差来计算深度。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/a8e83fe8ad4937461108f8db6cc5ec9e.jpg" /></p> <p>除了结构光和 TOF 技术，还有一种双目立体成像技术，但因为技术不成熟这里就不展开介绍。</p> <p>无论结构光还是 TOF 技术，在 3D 视觉方面各有优势。</p> <p>比如结构光方案技术成熟，功耗低，平面信息分辨率高，但是容易受光照影响，在强光下的表现并不是很好，识别距离近，但成本较高；TOF 方案抗干扰性好，识别距离远，但是平面分辨率低，功耗较大，材料成本中等。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/03d8a6215c5901802a692cdb9913d0cc.jpg" /></p> <p>不管怎样微软放弃了使用结构光技术的 PrimeSense，PrimeSense 虽然有些失望，但并没有停止研发的脚步，决定重新发明自己，并开发出了世界上体积非常小的 3D 传感器 Capri。</p> <p>Capri 具有 3 倍的深度分辨能力，50 倍的耐光性(使其能在日光下工作)，但是体型却缩小了 10 倍。</p> <p>或许正是 PrimeSense 在产品微型化做出的努力，让 3D 传感器可以在笔记本、平板电脑甚至手机上使用，也让苹果公司看到了它的潜力所在，微软对 PrimeSense 的放弃最终让苹果捡了漏。</p> <p>于是，终于在 2013 年 9 月份，苹果公司正式登场，花费 3.6 亿美元收购了 PrimeSense，让这家有野心的公司掌握了核心的 3D 视觉技术。</p> <p><strong>Face ID 背后那些看不见的买买买</strong></p> <p>苹果收购 PrimeSense 还在不断推进 3D 传感器的小型化，并不断加大投入和专利布局。</p> <p>2015 年 4 月苹果提交了 3D 手势控制技术专利申请；2015 年 7 月苹果提交名为“低门槛面部识别”的面部识别专利。2017 年 3 月苹果发布 3D 视觉新专利——利用景深信息进行人脸识别，一幅完整的人脸识别专利图谱逐渐清晰。</p> <p>接下来还有一系列疯狂的收购：</p> <p><strong>2015 年 4 月苹果收购 LinX Imaging</strong></p> <p>LinX Imaging 主要为移动设备开发多孔摄像头，一方面可以降低摄像头高度，让摄像头不再突起。</p> <p>另一个黑科技则是利用多孔设计精准测算不同图像中像素之间的区别，从而创建景深图像，让我们仅通过拍照，即可对物体进行三维扫描。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/fd6faea740e385924df2ded8035ae524.jpg" /></p> <p><strong>2015 年 11 月苹果收购 Faceshift</strong></p> <p>Faceshift 是一家动作捕捉公司，开发了实时追踪人脸表情，然后再用动画表现出来的技术，这项技术曾用于《星球大战》电影，让动画人物的表情更准确地模仿演员的表情。</p> <p>在游戏领域，用户可以使用根据自身表情实时更新的头像。 </p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/b810c02a7e104a2b985076f3a417148c.jpg" /></p> <p>后来证明，Faceshift 除了用作人脸识别之外，还被苹果用在 iPhone X的 Animoji 中。</p> <p><strong>2016 年 1 月苹果收购 Emotient</strong></p> <p>Emotient 这家公司致力于通过面部表情分析来判定人的情绪，这项技术会抓取人的面部，然后利用识别技术识别出面部表情。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/2d49468cf114c023181925667bb09fb3.jpg" /></p> <p><strong>2017 年 2 月苹果收购 RealFace</strong></p> <p>RealFace 擅长面部识别，该公司开发了一种独特的面部识别技术，其中整合人工智能并将人类的感知带回数字过程。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/3dfa6f945fa0ea97d18480bc114f88c2.jpg" /></p> <p>大规模的收购让苹果公司迅速的掌握了 3D 视觉尤其是在人面识别领域的核心技术，也避免了竞争对手通过收购快速追赶苹果，于是在 2017 年秋季新品发布会上，搭载 Face ID 功能的 iPhone X惊艳登场。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/35a162b4ff8fb164d8f8160a5881ae57.jpg" /></p> <p><strong>iPhone X真正的精髓：轻轻一瞥</strong></p> <p>按照苹果完美主义的产品设计理念，iPhone X的“刘海儿”不应该存在，但乔纳森·伊夫还是心甘情愿的为“小小的空间”让路，因为他也明白，真正构建苹果下一个十年手机形态的不仅仅是正面一块全面屏，更重要的是“那轻轻一瞥”的惊艳。</p> <p>回头来看“小小的空间”高度集成了苹果在人面识别上的研究成果，其中点阵投影器会投射超过 30,000 个肉眼不可见的光点，并对它们进行分析，为我们的脸部绘制精确细致的深度图。</p> <p>红外镜头会读取点阵图案，捕捉它的红外图像，然后将数据发送至 A11 仿生这款芯片中的安全隔区，以确认是否匹配，所利用的正是 PrimeSense 的结构光技术。</p> <p>另外苹果还通过泛光感应元件，借助不可见的红外光线，即使在黑暗中也能识别你的脸。</p> <p>苹果之所以选择 PrimeSense 的结构光而不是 TOF，更多的看中了结构光恰到好处的识别距离和高分辨率，相比 TOF 较低的功耗也让结构光更适用于移动平台。</p> <p>不过结构光在强光下表现有着天然劣势，不知道 iPhone X在大太阳下能够依旧表现优秀。</p> <p>值得一提的是 Face ID 仅仅是苹果积累 7 年的 3D 视觉所释放能量地的一部分，而在 iPhone X上除了人脸解锁，还打造了一系列看似秀肌肉却很有趣的功能，比如“动话表情”。</p> <p>通过原深感摄像头这个复杂的系统 iPhone X能够分析 50 多种不同的面部肌肉运动，来侦测面部 3D 轮廓。</p> <p>在此基础上就衍生出了“动话表情”，也就是将使用者的面部捕捉到 3D 建模上。我们经常在电影中看到的特效就属于此类，但这次我们通过手机就能实现。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/93c08a25cda05133b9d86fa49a64ab7e.jpg" /></p> <p>结合 A11 仿生的深度学习，Face ID 还具备了深度学习的能力，它带有一个特殊的神经元引擎，够利用机器学习技术来识别你样貌的变化。</p> <p>最近苹果披露的 Face ID 白皮书中透露，如果你的面部发生较大变化，比如刮了胡子，Face ID 会通过密码输入的形式确认面部变化并自动记录在库，而不是让你重新录入面部。</p> <p><strong>Face ID 小试牛刀，苹果 3D 大招是 AR</strong></p> <p>透过专利，我们看到苹果还储备了一系列 3D 手势操作技术，在体感操作一直不温不火的今天，我们很欣喜的看到，未来的体感操作仍需要苹果这个“后来居上”者来颠覆，而这才是 3D 视觉真正的用武之地。 </p> <p>3D 手势操作可能在 Mac 平台上实现，移动平台上 Face ID 只是 3D 视觉的小试牛刀，苹果表示 AR 将是未来不可缺少的必要环节，后置双摄加入 3D 视觉所发挥的能量更是不可小觑。</p> <p style="text-align:center"><img alt="7年卧薪尝胆 iPhone X面部识别解析：AR是重点" src="https://simg.open-open.com/show/0669d3b25723ff046da76691f308231e.jpg" /></p> <p>目前苹果已经发布了 ARKit 开发平台，并一举成为体量庞大的 AR 开发平台，不过 iPhone X的 AR 体验仍然基于传统摄像头，与 3D 摄像头差距甚远。</p> <p>因此当库克在发布会上热情洋溢的介绍 iPhone 的 AR 功能时，不仅给出了未来十年手机的期待，更是早就已经瞄上了你下个十年的钱袋。</p> <p>来自: <a href="/misc/goto?guid=4959011191885540839" id="link_source2">驱动之家</a></p>