AI 寒冬：炒作不是在退潮，而是在爆裂

   <p>作者：Filip Piekniewski 是计算机视觉和 AI 领域的专家，还是 Koh Young Technology 公司的首席 AI 科学家。</p>    <p style="text-align:center"><img alt="AI 寒冬：炒作不是在退潮，而是在爆裂" src="https://simg.open-open.com/show/5ffacc9e49951c6e7527491ba888dadf.jpg" /></p>    <p>我上次撰写的 <a href="/misc/goto?guid=4959013638932163631">AI 寒冬一文</a>在网上迅速传播开来，以至于我的 AWS 实例差点招架不住（该文的阅读量远超过了 10 万人次）。（云头条备注：国内媒体也纷纷<a href="/misc/goto?guid=4959013639031267284">翻译刊发</a>），该文引得许多业内人士在推文上转载，在 hackernews 和 reddit 上引发了激烈讨论。从这个经验证据来看，有一点很清楚：至于 AI 寒冬是否近在眼前，这是一个非常敏感、发人深思的话题。该文好像使许多人深有触动。</p>    <p>不管怎样，我想在这篇后续文章中回应几个观点，并解释几个误解。</p>    <p><strong>炒作不是在退潮，而是在爆裂</strong></p>    <p>首先，许多人在引用我写的那篇文章时都提到了 AI 炒作在退潮。那根本不是我阐述的观点。关于 AI 的炒作依然很热烈。一些主要的“造势者”已经变得更安静了，但就像我在文中解释的那样，乍一看，一切依然看上去那么美。你要洞察造势的背后，才能看清有没有裂缝。如果炒作渐渐淡化，那实际上是好事。股市崩盘时，不是每个人都慢慢地开始承认：自己为股票付了过高的价钱，悄无声息地打道回府。崩盘突如其来地发生，恐慌情绪猛地袭来，每个人都试图抛售；而同时，同一些人大造声势，以便能够找到接盘侠（即所谓的拉高出货）。只有在做市商真正找不到买家、造市者找不到现金时才会宣布危机。所以炒作是一个滞后的指标（而且常常滞后严重）。我预测，AI 领域会是这种情况。自动驾驶汽车造成的每一次死亡事故都会将可能投资于 AI 的风险投资家（VC）的数量减少一半。对于悄然关闭的每一家 AI 初创公司来说也是如此。与此同时，那些已经投入巨资的公司会大造声势，而私底下试图变现资产。只有市场上没有人接盘――这时候种子轮资金早已花光，AI 寒冬才变得尽人皆知。</p>    <p><strong>应用是关键，就是这么简单！</strong></p>    <p>认为 AI 寒冬并未到来的主要论点是，这一回，AI 切实带来了利润，而且有真正的应用。OK，是不乏应用。主要用于图像搜索、语音识别，可能还有监视（即谷歌和 非死book 等）。出现了风格迁移（style transfer），无疑会让 Photoshop 再次变得很出色。但这些至今都已有 3 个年头了。我实际上参加了悉尼举行的上一次国际机器学习大会（ICML）上的“深度学习应用”分会。说实话，那真是一次让人索然寡味的分会。</p>    <p>现在谈谈对 AI 寒冬的影响，今天 AI 创造了多少收入实际上并不重要。重要的是人们投入了多少资金，因此他们期望将来获得多大的回报。如果现实与这些预期不相符，那么就会出现寒冬。就这么回事。在这个周期中投入 AI 的资金数额非常巨大。而这些投入的重点领域是自动驾驶汽车；我所说的自动驾驶并不是指远程控制或辅以安全驾驶员――只有自动驾驶汽车真正完全自主，这种技术才有经济效益。巧合的是，这恰恰是我认为实现机会最小的一种应用。</p>    <p><strong>可还有 Waymo！</strong></p>    <p>但有读者说还有 Waymo。是指 Waymo 在未明确的时间段内购买多达 60000 辆货车吗？那又怎么样？优步在去年年底订购了 200000 辆沃尔沃。我想知道这笔交易后来怎样。但 Waymo 测试的是没有安全驾驶员的自动驾驶汽车！是的，是在菲尼克斯城最安静、最低速的路段，拥有良好的蜂窝信号接收功能，因而可以不间断地远程监控这些汽车。哦顺便说一下，车辆速度限制在 25 英里/小时......长话短说：Waymo 甚至可能部署 100 万辆用 LTE 监测的远程控制汽车。这在自动驾驶汽车方面证明不了什么，因为这样的部署会蒙受巨大的损失。很显然，只要谷歌有钱，就会往这个领域砸钱，而谷歌不可能一直砸钱进去。谷歌自动驾驶汽车项目已存在了 10 年，我预计它会再运作 10 年。不过一旦它们研发的车撞死人，也就是项目结束之时。这就是为什么谷歌极其谨小慎微。</p>    <p><strong>最近深度学习失败的几个例子</strong></p>    <p>我的文章在 推ter 上引起强烈反响后，出现了几篇颇引人关注的论文，另外几篇引起了我的注意：</p>    <p>1. 《CIFAR-10 分类器是否可以泛化到 CIFAR-10？》（<a href="/misc/goto?guid=4959013639122476149">https://arxiv.org/abs/1806.00451</a>）：一项研究表明，通过生成一个新的测试集，模型的整体性能会大幅下降。</p>    <p style="text-align:center"><img alt="AI 寒冬：炒作不是在退潮，而是在爆裂" src="https://simg.open-open.com/show/cd365074fda02fe0237ccfdcb68a2a92.jpg" /></p>    <p>这表明了众所周知的数据窥视问题，这个问题不断被忽略，而且被竭力掩盖。长话短说：你的分类器要有一个无偏差的性能数字，你的测试数据就只能用一次。但是如果是这样，每次你设计一个新的分类器，必须用新的数据来测试，你的结果就不再可重现！那是统计学范畴，里面涉及概率问题。你完全可以拿固定的预留测试集来测试你的模型，结果是百分之百可重现，但它们是有偏差的。你自个作选择吧。</p>    <p>2. 《语义敌对例子》（<a href="/misc/goto?guid=4959013639218714169">https://arxiv.org/abs/1804.00499</a>）：前一篇文章表明，即使拿仔细选择以便酷似原始训练分布的新样本来进行测试，模型的稳健性也不是很好；所以，面对来自原始分布之外的样本，机器学习不具有稳健性也就不足为奇。</p>    <p style="text-align:center"><img alt="AI 寒冬：炒作不是在退潮，而是在爆裂" src="https://simg.open-open.com/show/4d21f539479fff41b220e886f6e3f722.jpg" /></p>    <p>3. 《为什么深度卷积网络泛化到小图像转换如此糟糕？》（<a href="/misc/goto?guid=4959013639307961937">https://arxiv.org/abs/1805.12177</a>）和《旋转和转换就足够了：用简单的转换来愚弄 CNN》（<a href="/misc/goto?guid=4959013639401032473">https://arxiv.org/abs/1712.02779</a>）：很显然，深度网络的转换和旋转不变性被稍稍高估了。实际上，你可以在我之前的（2016 年中期）那篇文章中看到一些报告的行为，我当时将一个 SOA 深度网络运用于我用手机拍摄的几段视频。</p>    <p style="text-align:center"><img alt="" src="data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==" /><img alt="" src="data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==" /></p>    <p>4. 最后但并非最不重要的是：《愚弄深度神经网络的单个像素攻击》（<a href="/misc/goto?guid=4959013639495908737">https://arxiv.org/abs/1710.08864</a>）。如果你认为未能略微转换或旋转或者色调变化已经够糟糕了，那么你看到这种攻击就不会这么认为了。调整一个像素就足够了……</p>    <p style="text-align:center"><img alt="" src="data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==" /></p>    <p>这些结合传统的梯度衍生对抗例子（<a href="/misc/goto?guid=4959013639587222237">https://blog.piekniewski.info/2016/08/18/adversarial-red-flag/</a>）完全表明了这些方法有多么脆弱。</p>    <p style="text-align:center"><img alt="AI 寒冬：炒作不是在退潮，而是在爆裂" src="https://simg.open-open.com/show/9c498ae7ee92ea432e24a9f70589fa29.jpg" /></p>    <p>我们离强大的认知还远得很；在我看来，我们陷入了一种错误的范式，因此我们甚至没有朝着正确的方向前进。</p>    <p>来自: <a href="/misc/goto?guid=4959013639665547716" id="link_source2">mp.weixin.qq.com</a></p>