为了防止人工智能搞破坏，科学家开始研究安全对策

在特斯拉CEO伊隆·马斯克（Elon Musk）创办的人工智能实验室OpenAI里，机器正在通过自学模仿人类的行为。但有的时候却会出现问题。

最近的一个午后，研究员达里奥·阿莫德（Dario Amodei）坐在OpenAI的旧金山办公室里展示了一套自学《Coast Runners》的自动化系统。在这款已经过时的赛船视频游戏中，获胜者需要获得最高分，还要穿过终点线。

结果令人吃惊：这艘船对于屏幕上出现的绿色小部件兴趣极高——抓住这些小部件就能得分。但该系统控制的这艘船并没有急于穿过终点线，而是对得分非常着迷。它不停地转圈，还时不时地冲撞其他船只，有的时候会撞到石头墙上，甚至反复起火。

阿莫德的那艘着火的船表明了正在快速改变科技世界的人工智能技术所蕴含的风险。研究人员都在开发能够基本依靠自己完成任务的机器。谷歌(微博)旗下的DeepMind也借助这种方法创造了击败围棋世界冠军的系统。

然而，既然这些机器能够通过几个小时的数据分析进行自我训练，或许也能够形成一些出人意料甚至有害人类利益的行为。

随着这些技术逐步融入网络服务、安全设备和机器人，这种担忧也与日俱增。现在，阿莫德所在的人工智能圈已经开始考虑通过数学技术来避免最糟糕的情况发生。

阿莫德和他的同事保罗·克里斯蒂亚诺（Paul Christiano）正在开发一些算法，使之不仅能通过几小时的试错来学习某项任务，还能从人类老师那里获得定期指导。

只要在这里或那里点击几下，研究人员现在就能向自动化系统展示一个道理：要在《Coast Runner》里取得胜利，不仅要得分，还要通过终点线。他们相信，这种融合了人类与机器指令的算法有助于保持自动化系统的安全性。

未雨绸缪

多年以来，马斯克和其他专家、心理学家以及技术人员都警告称，机器可能脱离我们的控制，甚至学会它的设计者不曾设想的恶意行为。曾几何时，这些警告似乎言过其实，毕竟当今的无人驾驶汽车系统经常连识别自行车道和红灯这样的简单任务都难以完成。

但阿莫德这样的研究人员却试图未雨绸缪。从某种意义上讲，这些科学家所做的事情有点类似于父母教育孩子分辨是非。

很多人工智能专家都相信，一种名叫“强化学习”（reinforcement learning）的技术——让机器通过极端的试错掌握具体任务——可以成为人工智能的主要方式。

研究人员会为机器指定一种需要努力争取的奖励，然后在它随机学习一项任务时，机器便会密切关注哪些事情可以带来这种奖励，哪些不能。当OpenAI训练它的机器人玩《Coast Runners》时，他们给予的奖励就是更多的得分。

针对视频游戏展开的训练的确具有现实意义。

研究人员认为，如果机器能够学会《侠盗猎车手》这样的赛车游戏，它就能学会驾驶真车。如果它能学会使用网络浏览器和其他常见的软件应用，就能学会理解自然语言，还有可能展开对话。

在谷歌和加州大学伯克利分校这样的地方，机器人已经使用这种技术来学习拿东西和开门等简单的动作。

正因如此，阿莫德和克里斯蒂亚诺才在努力开发可以同时接受人类指令的强化学习算法，这样便可确保系统不会偏离手头的任务。

这两位OpenAI的研究员最近与DeepMind的同行合作发表了相关的研究成果。这两个全球顶尖人工智能实验室合作开发的这些算法，向着人工智能安全研究迈出了重要一步。

“这佐证了之前的很多想法。”加州大学伯克利分校研究员迪伦·海德菲尔德-门内尔（Dylan Hadfield-Menell）说，“这类算法在未来5到10年前景广阔。”

新兴领域

该领域规模虽小，却在不断增长。随着OpenAI和DeepMind建立专门的人工智能安全团队，谷歌大脑也将采取同样的措施。与此同时，加州大学伯克利分校和斯坦福大学这样的高等学府也在解决类似的问题，而且通常会与大企业的实验室展开合作。

在某些情况下，研究人员是在确保这些系统不会自行犯错，避免出现与《Coast Runner》里的那艘船相似的问题。他们还在努力确保黑客和其他“坏分子”无法发现系统中隐藏的漏洞。像谷歌的伊恩·古德菲洛（Ian Goodfellow）这样的研究人员都在研究黑客可能用来入侵人工智能系统的方式。

现代化的计算机视觉基于所谓的深度神经网络开发，这种模式识别系统可以通过分析海量数据学会完成各种任务。通过分析成千上万的狗照片，神经网络便可学会如何认出一只狗。Facebook就是通过这种方式识别照片中的人脸的，谷歌的Photos应用也是通过这种方式实现图片搜索的。

但古德菲洛和其他研究人员已经证明，黑客可以改变图片，使得神经网络相信其中包含实际上并不存在的内容。例如，只要调整大象照片里的几个像素就能让神经网络误以为这是一辆汽车。

在安防摄像头上使用神经网络可能因此遇到麻烦。研究人员表示，只要在你的脸上做几个标记，就可以让摄像头误以为你是其他人。

“如果用数百万张由人类标记的图片来训练物体识别系统，那就仍然可以生成让人类和机器100%存在分歧的新图片。”古德菲洛说，“我们需要理解这种现象。”

另外一大担忧在于，人工智能系统可能学会如何避免人类将其关闭。如果机器的目的是获得奖励，它的思维就会变成这样：只有继续运行才能获得奖励。虽然这种再三被人提及的威胁还很遥远，但研究人员已经开始着手解决。

海德菲尔德-门内尔和伯克利的其他研究人员最近发表了一篇论文，通过数学方法来解决这个问题。他们证明，如果让机器无法确定自己的回报函数，它可能会希望保留自己的关闭开关。这就使之有动力接受甚至主动寻求人类的监督。

其中的很多工作仍处在理论层面。但由于人工智能技术发展迅速，而且在许多行业的重要性与日俱增，所以研究人员认为，尽早开始是最佳策略。

“人工智能的发展究竟能有多快还存在很大不确定性。”DeepMind人工智能安全负责人谢恩·莱格（Shane Legg）说，“负责任的办法是努力理解这些技术可能被滥用的不同方式，可能失效的不同方式，以及可以通过哪些不同方式来应对这些问题。”

（编辑：映雪）