人工智能技术在这个世纪中突飞猛进，研究表明，人工智能电脑可以和人类一样聪明。尼克·博斯特罗姆（Nick Bostrom）认为，它们将会超越我们——“机器智能是人类需要发明的最后一样东西。”当这世界由具有思考能力的机器所主宰，它们会帮助我们维持人性和价值观？还是会建造自己的价值观？人类会不会被取代呢？

以下是部分演讲内容：

让我们扪心自问，到底是什么造成了如此不寻常的现状？一些人会说，因为科技。对于现在来说是对的，科技是人类历史不断积累下来的果实。现在，科技发展十分迅速：这是个直接原因，这就是为什么我们现在生产效率如此高。但是我想探究更远的在未来的终极原因。

至今我们所办到的所有事情，以及我们所关心的事情，都取决于人大脑中细小的变化。因此得出的结论是：在未来，任何显著的思考基体的变化，都能带来巨大的后果。

现在主要的研究方向是机器的学习。所以，预期设计出知识的再现，我们写出具有从原始感官数据学习的程序，像婴儿一样。结果就不会局限于某个领域的人工智能：同一个系统可以学习两种语言之间的翻译或者学着玩Atari的游戏。当然，现在，人工智能还未能达到向人类一样，具有强大的跨领域学习能力。人类大脑还具有一些运算技巧，可是我们不知道如何将这些技巧用于机器。

所以我们现在需要问：我们还要多久才可以让机器复制这种能力？几年前，我们对世界顶尖的人工智能专家做了一次问卷调查，来收集他们的想法，其中一道题目是：“到哪一年你觉得人类会有50%的可能性创造达到人类水平的人工智能？” 我们把这样的人工智能定义为有能力将任何任务完成得至少和一名成年人一样好。所以是真正的人类级别，而不是仅限于一些领域。而答案的中位数是2040到2050年，取决于这些专家的群体。当然这个有可能要过很久才能实现，也有可能提前实现。没有人知道确切的时间。

我们知道的事，处理信息的能力的最终点，比任何生物组织要大很多。这取决与物理原理。一个生物神经元所发出的脉冲频率大约位于200赫兹，每秒200次。但是就算是现在的电晶体都以千兆赫的频率运行。神经元在轴突中传输的速度较慢，最多100米每秒。但在电脑里，信号是以光速传播的。另外还有尺寸的限制，就像人类的大脑只能有颅骨那么大，但是一个电脑可以和仓库一样大，甚至更大。因此超级智慧的潜能正潜伏在物质之中，就像原子能潜伏在人类历史中一样，直到1945。在这个世纪里，科学家可能能将人工智慧的力量唤醒。那时候我觉得我们会看到智慧大爆发。

我们需要把智慧看做是一个优化的过程，一个能把未来引导至一个特殊组合结构的过程。一个超级智慧体是一个非常强大的优化过程。它将会擅长利用资源来达到自己的目标。这意味着有着高智慧和拥有一个对人类来说有用的目标之间并没有必然的联系。

假设我们给予人工智慧的目的是让人笑，当人工智能弱的时候，它能做出有用或好笑的表演，这样它的使用者就会笑了。当人工智能变成超级智慧体的时候，它会意识到有一个更有效的办法能达到这个效果：控制世界，在人类面部肌肉上插入电极来让人类不断地笑。另一个例子：假设我们给予人工智能的目标是解出很难的数学题，当人工智能变成超级智慧体的时候，它意识到有一个更有效的办法来解出问题，是把整个地球变成一个巨型电脑，这样它的运算能力就变更强大了。注意到这个是给予人工智能一个模式型的理由来做我们也许并不认可的事情。人类在这个模式中是威胁，我们可以人为地让这个数学问题不能被解出。

当然了，我们预见这种事情不会错到这样的地步，这些是夸张的例子。但是它们所代表的主旨很重要：如果你创造了一个非常强大的优化过程来最大化目标X，你最好保证你的意义上的X包括了所有你在乎的事情。

我们之所以是聪明的敌人，因为我们可以预见到威胁并且尝试避免它。但是一个超级智慧体也可以，而且会做得更好。我们不应该很自信地表示我们能控制所有事情。

智慧大爆炸的初始条件需要被正确地建立起来，如果我们想要一切在掌握之中。人工智能的价值观要和我们的价值观相辅相成，不只是在熟悉的情况下，比如当我们能很容易检查它的行为的时候，但也要在所有人工智能可能会遇到的前所未有的情况下，在没有界限的未来，与我们的价值观相辅相成。

也有很多深奥的问题需要被分拣解决：它如何做决定，如何解决逻辑不确定性和类似的情况。所以技术上的待解决问题让这个任务看起来有些困难：并没有像做出一个超级智慧体一样困难，但是还是很难。这使我们所担心的：创造出一个超级智慧体确实是个很大的挑战。创造出一个安全的超级智慧体，是个更大的挑战。风险是，如果有人有办法解决第一个难题，却无法解决第二个确保安全性的挑战。

所以我认为我们应该预先想出“控制性”的解决方法，这样我们就能在需要的时候用到它了。现在也许我们并不能预先解决全部的控制性问题，因为有些因素需要你了解你要应用到的那个构架的细节才能实施。但如果我们能解决更多控制性的难题，当我们迈入机器智能时代后 就能更加顺利。

这对于我来说是个值得一试的东西，而且我能想象，如果一切顺利，几百万年后的人类回首我们这个世纪，他们也许会说，我们所做的最最重要的事情，就是做了这个正确的决定。

来源/TED官网 编辑/刘逸尘