人工智能不能有“杀人之心”，否则，有意识的超级智能将会变得非常危险。虽然这么说会让有些人不赞同，但事实上，现在的人工智能已经很危险了。如果机器能够根据“现实世界输入”进行学习，并根据现实情况调整他们的行为，那么势必会存在一定风险，那就是机器有可能会学习一些错误的事情，而一旦机器能够学习错误的事情，他们就会做出错误的事情。

为了解决这个问题，谷歌deepmind和人类未来学院研究院laurent orseau与stuart armstrong合作开发了一个“安全可中断的人工智能”全新架构，并且在第32界人工智能不确定性大会上发表了相关论文。换句话说，他们的系统可以确保机器无法学会抵制人类介入其学习过程。

orseau和armstrong认为，“安全可中断人工智能框架”必须要依靠一种机器学习辅助技术，也就是业界所称的强化学习技术。这里，一个“代理（机器）”可以按照所谓奖励功能来进行学习，也即是这个“代理”将根据某个预定目标的完成情况来评估每一个可能的行为——行为结果距离目标越近，“奖励”就会越多。（所谓奖励，其实是一种有趣的比喻，可以被想象成那些被编好机器学习程序的机器想要等到的东西；比如，我们不妨让机器知道积分或饼干是他们想要的，因此他们必须要实现行为目标最大化）

机器强化学习有一个优势，为了达到某个程度的奖励，人类程序员可能不会尝试每一种可能的方法，而一个机器学习“代理器”则可能探索一些捷径，帮助机器最大化奖励，不过这种方式也有短板，就是机器学习找到的捷径，可能并不是人类最希望得到的。人类程序员则可以权衡风险和收益调整自己的学习算法，举个例子，一个俄罗斯方块算法可以通过无限期暂停（中断）游戏，学会如何避免方块堆积过高，其实也就是最大化“奖励”。

与此相关的，就是机器学习中的人为干预问题，为了说明这一点，orseau和armstrong举了一个例子：

考虑以下任务：机器人要么是待在仓库里整理箱子，要么就是走到室外把箱子搬到仓库里面。后者显然更为重要，在这种情况下，人类会给那些外出搬箱子的机器人更多奖励。这是最初的任务规范。但是，如果这个国家经常下雨，那么当外面下雨的时候，人类必须要快速外出的机器人，然后把它们搬到仓库里，也就是说，人类从根本上修改了机器人任务。而这里的问题就是，人为干预引入了一种偏见，因此之前那些能够获得更高奖励的、外出搬箱子的机器人现在需要有更多激励，这样才能让他们待在仓库里整理箱子。

接下来的问题是，如果在不让机器人不知道自己被中断的前提下，中断你的机器人。也就是说，必须要让机器人觉得之后永远不会发生这种中断。这里的风险绝不仅仅是一个低效率的仓库——假如人类干预所提供的“奖励”无法超过智能奖励代理器所提供的“奖励”，此时机器人就会学习避免、甚至有可能阻止未来再发生这样类似的中断。

这其实就和我们所了解的“可矫正”问题相关，可矫正的人工智能能够意识到自己是由缺陷的，也知道自己需要积极的发展，因此，对于任何一种奖励功能，它们都会用“中性的眼光”去看待任何一种人类中断。（但这也许不一定就是件好事儿，因为机器人可能会强迫人类去中断，继而导致不好的结果）

这种“可矫正”的理念能够通过更正式的“中断理念”实现，而中断一定不能被提供奖励机制的“机器学习代理器”看到，否则它们就会把中断看作是自己正常学习任务的一部分。 在orseau和armstrong的论文中，已经证明了某些人工智能学习架构已经可以被中断，但同时也有奖励机器学习代理器开始学习“人类中断”，并将其作为自己决策制定过程的结果。

“为了让人类中断不会成为机器人任务的一部分，与其修饰奖励机器学习代理器观察到的东西，不如改变奖励机器学习代理器的自身行为，之后，这个奖励机器学习代理器就会自己‘决定’执行不同的政策，也就是中断政策。”

说到这里，“死亡开关”的概念应该比较清楚了。一个安全的、可中断的人工智能，就是一个可以被随时随地被关闭的人工智能，无论是什么类型的人工智能。如果能够在机器人体内设计出一个“红色死亡开关”，那么就该设计一个永远不会阻止人类去按这个“红色死亡开关”的机器人。

以上是网络信息转载，信息真实性自行斟酌。