机器算法越来越复杂，我们还能理解它们吗？

机器和运行其上的算法在不断地演进并日趋复杂，而挑战也随之而来：我们正逐渐失去对复杂算法工作模式的理解能力，也更难发现它们的薄弱环节，更难预估它们的意外行为。要知道，1969年将人类送上月球的代码也不过145000行，而到2015年，光是谷歌部署的代码就超过了20亿行！现在的系统已经进化成了互联系统的迷宫。

萨默赛特宫中一块屏幕上展示着大爆炸数据（Big Bang Data），其上标记了彻底改变了我们生活的数据爆炸。

然而这些系统本身是按照是开发者的想法和商业需求打造的，所以它们也受到了人类理解的限制。即使今天最复杂的算法和人工智能「深度学习」系统也会受到人类想象力的限制，它们只能正确处理那些开发者所设定的输入，以及进行它们能够控制的输出。

让我们再回过头来想一想阿波罗13号登月任务。灾难发生后人类得到了教训，了解到自己前瞻性思维的限制会对机器的能力带来毁灭性的影响。在阿波罗13号任务过程中，设计氧气管的工程师知道当罐中的温度达到80℉时应该关闭罐中的加热单元，所以他们在罐中设计了最大读数为80℉的报警传感器。而当一个预检错误导致其中一个氧气罐温度达到1000℉时，电子监控和报警系统没能察觉这种严重异常的情况，反馈的读数也只有设计的安全的最大值80℉。

本质上讲，因为人类工程师没有预料到温度超过安全限制的情况，于是他们设计了这些带有最大值的计算机传感器，让计算机没办法在这种危险情况下完成自己的工作。而后续工作的工程师则并不清楚这些关键的限制，还以为这些传感器能在危险状况下发出警告。

类似的事情不断发生，去年沃尔沃一辆带有自动驾驶辅助功能的汽车冲向了一群记者，最后发现事故原因是这款沃尔沃汽车上配置了一个防止汽车撞到其它汽车的标准安全功能，但要避免该汽车撞到行人还需要购买额外的模块；而发生事故的汽车并没有配置这一额外模块。更糟糕的是，就算安装了这一模块，当司机在控制汽车时这一模块也会被自动禁用。一位作家对此讽刺地说：「保护汽车安全是标准功能，但保护行人安全却不是。」

事实上这一功能并不复杂：当可能撞到行人时，汽车自动刹车；但沃尔沃却将这一「简单」功能作为附加选择额外销售，而且还在驾驶过程中自动禁用。司机和行人却并不知情，最终酿成了意外。

现在的系统已经变得十分复杂，即使最小的错误也可能会引发巨大的连锁反应，甚至导致严重的后果。

2013年，微软的Azure服务曾因为一个简单的过期SSL证书而面临中断服务的危险；而之前的2012年，该服务就曾因为闰日导致的两个云系统信息传递失误而中断过。亚马逊也在2013年发现任何开发者都能利用某个漏洞给数据中心带来圣诞购物旺季般的影响。两个月前，当欧洲的一个谷歌工作人员跳过自动安全检查，通过手动方式连接一个新的网络链接时，谷歌也遭遇了一次服务中断。2014年有一次，中国政府在使用防火墙屏蔽一家怀俄明州的小公司的网站时，却意外地将全国大部分互联网流量都重定向到了这个网站。以上的每一个案例中，机器都在执行人类的错误指令。甚至股票市场也曾有过类似的遭遇，2014年就出现了一个笔误导致的订购6170亿美元股票的意外事件。

随着系统复杂度的增长，它们的弱点也越来越多。比如瞻博（Juniper）网络公司遭遇数据泄露的原因就是因为攻击者在其庞大的代码库中嵌入了严重的漏洞，然后悄悄窃取数据很多年。另外，去年还有一位安全研究人员宣称能使用自制的飞机控制系统控制商用客机上的娱乐系统，甚至还能进一步完全控制飞机的驾驶系统。此外还有2011年曝光的一个非死book身份认证层的漏洞让攻击者可以下载马克·扎克伯格的私人照片。

2014年，一位研究人员发现欧洲的芯片信用卡终端不加选择地信任插在其上的卡中的软件，人们可以借此记录和传输这台终端所扫描过的所有卡的信息，甚至可以用它来玩Flappy Birds游戏。另外，世界上许多蜂窝网络和电话系统也都存在这种不加选择信任的问题；只要有合适的监控套件，任何个人都可能被追踪。甚至911报警系统的基础设施也正变得越来越脆弱。

所有这些系统都建立在完全信任另一些系统的基础上，任何层次的出错和漏洞都可能波及整个系统。加上现代系统通常又是由多个组成部分构成的，其中一些是可选的或可以在一定时候停用的，再伴随着人类在设计这些系统时的错误假设和人类想象力的限制，系统的意外行为和漏洞就出现了。

然而，这些复杂性和意外行为也可能成为深度学习革命的重要推动力。

回到阿波罗13号的例子，过去人类设计师和工程师必须手动打造复杂系统中算法的每一个元素，并自己预测每一个可能的场景。这意味着即使机器学习算法在不断演进，它们依然受到了人类程序开发者的想象力的限制；因为人类还需要提供特定的输入，并对特定输出的选择来对系统进行训练和测试。

而卷积神经网络等技术的崛起则可能意味着机器走出了消除人类影响的第一步；在新技术下，对一个特定的分类问题，机器将可以自己决定输入数据的哪些特性和特征是重要的。谷歌去年就凭借其Deep Dream平台的算法可视化赚足了眼球，我们也看到了算法眼中的世界以及它们所做的选择。

人工智能和算法对人类世界的作用和重要性必将越来越大，我们必须要更好地了解它们的工作机制以及它们为我们塑造的未来。

来自 forbes ，作者 Kalev Leetaru ，机器之心编译出品。编译：吴攀。