【AI星球（微信ID：ai_xingqiu）】9月4日报道 （编译：小白）
在特斯拉首席执行官埃隆·马斯克创立的人工智能实验室OpenAI，机器正在自己学习如何表现地更像人类。不过，有时候还是会出错。
最近一个下午，我们有幸做客OpenAI在旧金山的办公室。研究员达里奥·阿莫迪演示了一个可以自学自玩《赛船冠军赛》（一个比较过时的赛船电子游戏）的自主系统。获胜者需获得最高积分并穿过终点线。
游戏的结果出乎意料：系统控制的小船对屏幕上不断蹦出来的绿色奖励尤为痴迷。抓住这些奖励意味着可以获得分数。因此，小船疯狂地追求积分而不是尽快穿过终点线，从而陷入一个死循环，并且为了获得积分，小船不停地与其他船只碰撞、滑向墙壁、反复着火。
阿莫迪先生的着火小船恰巧证明了AI技术的风险——这一风险正迅速重塑技术世界。研究人员一直在开发能够自主学习任务的机器。谷歌的DeepMind就是这样开发出了一个系统，并在围棋比赛中打败了世界冠军。但是随着这些这些机器通过几小时的数据分析自主学习，他们也极有可能形成另一个出乎意料甚至非人类所需，乃至有害的行为。
随着这些技术逐步涉及在线服务、安全设备和机器人，这个问题越来越显著。现在，一小部分AI研究人员，包括阿莫迪先生，正着手探索数学技术，来阻止这些最糟糕情况发生。
在OpenAI，阿莫迪先生和他的同时保罗·克里斯提亚诺正在开发一种算法，这种算法不仅可以通过数小时的尝试和错误进行任务学习，还可以在学习过程中定期接受人类导师的指导。
在这里或那里点击几下，研究人员现在可以告诉自主系统，在《赛船冠军赛》游戏中，“你”在获得积分的同时还需要向终点快速前进。研究人员相信，这些算法——结合了人类和机器指导——有助于让自主系统处于安全状态下。
近年来，马斯克和其他一众专家、哲学家以及技术专家，都曾不断警告说，机器可能会脱离我们的控制，并以某种方式学习其设计人员未曾预料到的邪恶行为。鉴于目前的自动驾驶汽车甚至不能完成最基本的任务，比如识别自行车道或红灯，每当这时候，这些警告更加看似杞人忧天。
但是阿莫迪等研究人员则希望提前解决这些看似杞人忧天的风险。从某种程度上来说，这些科学家的努力，好比父母教导孩子分辨对与错。
很多AI领域的专家认为，一种被称为强化学习的技术——即机器通过极端试验和错误进行学习的方式——可以成为人工智能的主要途径。研究人员为机器指定一种需要其努力获得的特殊奖励，当机器自由完成任务时，它将密切关注什么能带来特殊奖励，什么不能。当OpenAI训练机器人玩《赛船冠军赛》时，这个特殊奖励即为获得更多分数。
这一电子游戏训练着实具有现实世界的影响。
如果机器可以学习玩《侠盗飞车》这类游戏，研究人员认为，机器也就具有学习驾驶真实汽车的能力。如果它可以学习使用网页浏览器和其他常见软件应用，那么它也可以学习理解自然语言，甚至进行对话。在谷歌和加州大学伯克利分校等等地方，机器已经开始使用这些技术来学习简单的任务，比如捡东西或者开门。
所有这一切解释了为什么阿莫迪和克里斯提亚诺要开发一种可以同时接受人类指导的强化学习算法。这种加入了人类干预的算法可以确保系统不会偏离当下的任务。
这两位OpenAI的研究人员，和来自谷歌旗下位于伦敦的AI实验室DeepMind的其他研究人员一道，与最近在这一领域发表了一些他们的研究。跨越全球两大顶级人工智能实验室——且在过去这两个实验室未曾有过真正的合作——这些算法被认为是AI安全研究领域中的一大进步。
加州大学伯克利分校的研究人员Dylan Hadfield-Menell说：“这验证了很多之前的假设。这些类型的算法将在未来5到10年内拥有非常好的前景。”
该领域十分小众，但正在发展中。随着OpenAI和DeepMind都已建立了致力于AI安全的团队，谷歌在美国的实验室Google Brain也紧随其后。同时，加州大学伯克利分校和斯坦福大学的研究人员也在研究相似的问题，并且经常与这些大公司的实验室进行合作。
图中，站着的为达里奥·阿莫迪；穿着浅蓝色衬衫的为保罗·克里斯提亚诺；在白板前的则是杰弗里·欧文。
在某些情况下，研究人员正在努力确保系统不会自己犯错，比如像《赛船冠军赛》中的机器玩家那样。同时，他们也在努力确保黑客和其他不法分子无法利用这些系统中的隐藏漏洞。比如，来自谷歌的研究人员伊恩·古德菲洛正在探索黑客愚弄AI系统使其看到本不存在事物的可能方式。
现代计算机视觉乃基于所谓的深度神经网络，即通过分析大量数据来学习任务的模式识别系统。通过分析数千张狗狗的图像，神经网络可以学习识别一只狗。这也是Facebook识别自拍照中人脸的原理，也是谷歌在其图片应用中用于即时搜索图像的原理。
但是，古德菲洛和其他人发现，黑客可以改变图像，从而使得神经网络相信其看到实际上并不存在的东西。例如，仅需改变大象照片中的几个像素，黑客就可以欺骗神经网络，让其以为看到的是一辆汽车。
当神经网络用于安全摄像头时，这就成了大问题。研究人员表示，稍稍画花你的脸，你就可以让摄像头认不出你。
“如果你用数百万张由人类标记的图片去训练一个物体识别系统，那么你同样可以创造出新的图像，人类和机器看到的结果完全不一样，”古德菲洛说，“而我们需要理解这背后原因。”
另一个更大的担忧是AI系统可以学会阻止人类将其关闭。如果机器的设计目标是追求更多奖励，那么照着这一思路下去，机器会发现只要当其不断运行就可以追求更多更多的奖励。随着这种时不时被提起的威胁还很遥远，但研究人员已经开始想法设法避免这个问题的出现。
加州大学伯克利分校的哈德菲尔德-梅内尔和其他研究人员最近发表了一篇论文，该论文中，研究员试图通过数学方法来解决这个问题。他们发现，如果通过专门的设计，机器对其奖励功能不十分明确时，它会设法保护其关闭开关。这也给予了机器接受或时不时寻求人类监督的动机。
这类研究大部分仍处于理论状态。但是考虑到AI技术的快速发展，以及AI技术在如此多领域中的重要性日渐增加，研究人员认为，及时研究解决方案乃是上策。
“AI的发展速度究竟有多快，究竟能发展到什么程度，我们实在难以预测，”DeepMind的AI安全研究小组负责人肖恩·莱格说，“负责任的方法就是尝试了解这些技术可能被滥用的不同方式，这些技术可能失败的方式，以及解决这些问题的不同方式。”
