2014年，spacex的首席执行官埃隆·马斯克发了一条推特：“博斯特罗姆的《超级智能》值得一读，对人工智能一定要万分小心，它可能比核弹还危险。”同一年，剑桥大学宇宙学家霍金对bbc说：“开发完整的人工智能可能导致人类灭亡。”微软创始人之一比尔·盖茨也曾警惕地表示：“我是对超级智能感到担忧的那一派。”

2008年，计算机科学家埃利泽·尤得库斯基在《全球灾难风险》中刻画了ai灭世的场景：“ai的智力从阿米巴一路上升到村里的笨蛋那个级别，然后止步于人类天才的水平，这样的可能性有多大？”他自己的回答是：“从物理上说，我们有可能造出一台运算速度百万倍于人脑的计算机。如果人脑加速到这个水平，那么从前需要思考一年的问题，现在31秒之内就能解决。而这就意味着，外界才过八个半小时，内心就已经感觉经历了近千年的思考时间。”尤得库斯基认为，现在不为这个问题着想，以后就来不及了：“ai的时间观念和你我不同，等到你的神经元想好‘我该做点什么’时，你就已经输了。”

这派想法的代表是牛津大学哲学家尼克·博斯特罗姆在《超级智能》一书中提出的所谓“回形针量产机”的思维实验：人类设计了一台ai来造回形针，它在耗尽了最初的原料之后，就开始竭力搜索一切可用的材料，包括人类身上的那些。博斯特罗姆在2003年的一篇论文中写道，只要这个头一开，ai就会“先将整个地球耗尽，甚至进一步利用周围更大范围内的所有材料，把它们都改造成一部部生产回形针的装置。”用不了多久，整个宇宙就只剩下回形针和生产回形针的机器了。

我对这个设想持怀疑的态度。第一，这个末日场景需要满足一连串条件才能实现，中间任何一个环节出错，末日的戏码都无法上演。英国西英格兰大学的电气工程教授艾伦·温菲尔德在2014年的一篇文章中这样写道：“假如我们造出了和人类相当的ai，假如这部ai明白了自身的工作原理，又假如它能将自己改进成具有超级智能的ai，再假如这个超级ai出于无意或恶意开始消耗资源，还要假如我们没能拔掉它的插头？到那时，我们才可能遇到麻烦。这风险不是没有，只是概率甚微。”

第二，ai的研发其实要比预测的缓慢得多，其中每一个步骤，人类都有时间叫停。就像谷歌董事长埃里克·施密特在回复马斯克和霍金时所说的那样：“你们觉得人类会注意不到吗？注意到之后，不会去关掉那些电脑吗？”谷歌的deepmind公司已经发展出了一个关闭ai的开关，它被戏称为“紧急红按钮”，可以在ai意图造反时按下。百度首席科学家吴恩达也表示（针对马斯克的话），有人“还没登上火星，就开始担忧火星上的人口问题了。”

第三，ai灭世论的依据往往是天然智能和人工智能之间的错误类比。2015年，哈佛大学的实验心理学家斯蒂芬·平克在回答edge网站年度问题“你对会思考的机器有什么看法”时，对这一点做了说明：“ai灾难论者都在智能的概念中投射了狭隘的大男子心态。他们假定智力超越人类的机器人会制定出罢免主人或是统治世界的目标。”但实际上，平克指出，人工智能同样可能“沿着女性的路线进化：既能熟练地解决问题，又没有消灭无辜者或主宰人类文明的欲望。”

第四，电脑“想做”某事的说法（比如想把世界变成回形针）意味着电脑有了情绪，但是就像科普作家迈克尔·乔罗斯特指出的那样：“一旦ai对某事有了向往，它就进入了一个奖赏与惩罚的世界，比如它会知道，做了坏事就要受到我们的惩罚。”

考虑到历史上的末日预言还没有一个应验，再加上ai几十年来的发展一向平缓，我们应该有充裕的时间建立一套安全体系，以防止ai毁灭世界的事情发生。

以上是网络信息转载，信息真实性自行斟酌。