所以,具体而言,大猩猩问题就是,人类是否能在一个拥有更高智能的机器的世界里保持人类至高无上的地位和自主权的问题。
另外一个关于人工智能的问题就是,人类试图将自己的目的灌输给机器,从《异星灾变》中来看,这似乎也注定要失败。我们可以把这个问题称为“迈达斯国王问题”。
迈达斯是古希腊神话中的传奇国王,他如愿以偿地得到了他想要的点石成金术——但他碰过的任何东西都会变成金子。
当他发现这其中包括了他的食物、水和他的家人时,已经太晚了,他最终在痛苦和饥饿中死去。同样的主题在人类神话中无处不在。

在歌德的“魔法师的弟子”的故事中,魔法师的弟子学魔法师念咒语,指示扫帚去打水,但他没有说打多少水,也不知道如何让扫帚停下来。
人工智能的先驱、图灵的同事I. J. 古德,1965 年,他发表了著名的论文《关于第一台超级智能机器的一些推测》,和图灵一样,他也担心智能会失去控制:
超级智能机器可以被定义为智能远远超过了人类智力活动的机器。既然机器设计是智力活动之一,那么超级智能机器就可以设计出更为智能的机器。这无疑会带来一场“智能爆炸”,人类的智能将被远远抛在后面,望尘莫及。
因此,如果智能爆炸真的发生了,又如果我们尚未能解决仅仅稍微超越人类的智能机器的控制问题,比如我们无法阻止它们进行这些递归式的自我完善,那么我们就没有时间解决控制问题,人类也就完了。

但事实究竟是怎的呢?对我们的文化而言,逐渐淡化骄傲和嫉妒是感知自我价值的重要因素,这一点很重要。
正如尼克·波斯特洛姆在他的书《超级智能》的结尾所说的那样,人工智能的成功将催生“一条文明轨迹,实现富有同情心地使用人类被赋予的宇宙资源的文明的进步”。
如果我们不能充分利用人工智能的优势,那么我们只能怪自己。
,
