我们应该担心人工智能的潜在危险吗？

麻省理工学院的物理学家马克斯·泰格马克说。Tegmark是未来生命研究所（Future of Life Institute）的联合创始人，这是一家总部位于波士顿的研究机构，专门研究全球灾难性风险，特别关注人工智能。他也是今天出版的《生活3.0》的作者。life3.0概述了人工智能安全研究的现状，以及作为一个社会，如果我们想让这项技术得到更好的应用，我们需要回答的问题。

泰格马克不相信末日终结者的场景是不可避免的，但他认为我们对人工智能的思考也不够。他不是唯一关心的人。史蒂芬·霍金多年来一直敦促研究人员更加关注人工智能的安全性。微软与elonmusk合作创建了OpenAI，一个致力于同一问题的组织。马斯克在2015年也向FLI捐赠了1000万美元，他还在Twitter上推荐life3.0。

边缘与泰格马克聊了他的书，我们应该做什么，为什么他认为围绕人工智能的讨论是我们这个时代最重要的一个。为了清晰起见，这篇采访经过了简单的编辑和浓缩。

这本书的书名是指什么？什么是“生活3.0”，生活1.0和2.0是什么？

嗯，我广义地认为生命是一个能保持其复杂性并繁衍生息的过程。生命1.0就像细菌。细菌是以简单算法的形式组合在一起的小原子，可以控制它们的行为。例如，每当细菌注意到前面的糖浓度比后面的高时，它就会向前走，但如果它注意到前面的糖浓度比后面的少，它就会转过身来。但是细菌在其一生中永远不会真正学到任何东西。细菌能够逐渐获得更好的软件或学习的唯一方法是通过几代人的进化。

我们人类就是我所说的“生命2.0”。我们仍然有我们的硬件，或身体，主要是由进化设计的，但我们可以学习。我们有巨大的力量将新的“软件”上传到我们的头脑中。例如，如果你决定要成为一名律师，你可以去法学院，法学院需要将新的算法上传到你的大脑中，这样你就可以突然拥有律师的专业知识。正是这种设计我们自己的软件而不是等待进化的能力，使我们能够主宰这个星球，创造现代文明和文化。文化进化正是源于这样一个事实：我们可以在有生之年从别人那里复制思想和知识。

life3.0完全摆脱了进化的桎梏，不仅能设计软件，还能设计硬件。换言之，如果我们创造出至少和我们一样聪明的人工智能，那么它不仅可以设计自己的软件让自己学习新东西，而且总是有人试图交换升级后的内存来记忆更多的东西，或者获得更多的计算能力。相比之下，人类可以植入人工心脏起搏器或人工膝盖，但我们无法改变任何真正戏剧性的事情。你永远不可能让自己高出一百倍或思考速度快上千倍。我们的智能是由黏糊糊的生物神经元组成的，从根本上说，它受到母亲产道中大脑质量大小的限制，但人工智能不是。

有些人仍然怀疑超级智能会发生，但你似乎坚信它会发生，这只是时间问题。你是个物理学家，从这个角度看你是怎么看的？

我认为大多数人认为智力是一种神秘的东西，仅限于生物有机体。但从我作为物理学家的角度来看，智能只是简单的信息处理，由基本粒子根据物理定律进行运动。在物理定律中，没有任何东西说我们不能**比我们聪明得多的机器，也没有任何东西说智力需要由有机物来**。我不认为有什么秘密酱绝对需要碳原子或血液。

我在书中很有意思，思考物理定律的极限是什么，你能有多聪明。简而言之，它是天高的，比我们现在的位置高出数百万倍。我们什么也没看到。我们的宇宙有巨大的潜力被唤醒更多，我认为这是一个鼓舞人心的想法，来自宇宙学背景。

我知道FLI确实在处理核裁军等问题，但它把传播人工智能安全作为首要目标。同样，你认为围绕人工智能安全的对话是“最重要的对话”。为什么？为什么它比气候变化更重要？

我们在降低核战争风险方面做了很多工作，但人工智能的美好未来问题绝对比所有其他事情更重要。以气候变化为例：是的，它可能会在50年或100年内给我们带来巨大的问题，但许多领先的人工智能研究人员认为，超人智能将在这之前，在几十年内到来。

这显然比气候变化更重要。首先，如果这种情况发生，它将彻底改变我们所知道的生活。它要么帮助你前所未有地茁壮成长，要么成为我们所经历过的最糟糕的事情。第二，如果进展顺利，我们可以用它来解决气候变化和所有其他问题。如果你关心贫困、社会公正、气候变化、疾病——所有这些问题都困扰着我们，因为我们不够聪明，无法想出解决这些问题的办法，但如果我们能用机器智能来放大我们自己的智能，远远超出我们的智能，我们就有了做得更好的惊人潜力。

Image: Courtesy of Max Tegmark

所以，它不同于你清单上的所有其他事情，因为它不仅有可能的缺点，还有可能的巨大好处，因为它可以帮助解决所有其他问题。比如说癌症，或者更普遍的疾病——癌症是可以治愈的，只是我们人类还没有足够聪明，在所有的情况下都能想出应对的办法。在我们做的所有研究中，我们都受到自己智力的限制。

在这个问题上有相当广泛的态度，从怀疑论者到乌托邦主义者。你把自己放在哪里？

我对创造超人智能的可能性持乐观态度，我也对我们能用人工智能创造美好未来持乐观态度。但我很谨慎，因为我不认为这是可以保证的。我们必须首先回答一些关键问题，才能让事情顺利进行，而这些问题可能需要30年才能得到答案。我们应该现在就开始打击他们，而不是在一些家伙决定利用他们的超智能的前一天晚上。

什么问题？你说你没有专注于所谓的“短期”问题，比如自动化将如何影响工作。

现在关于工作自动化的讨论太多了，人们往往会忘记，也要看看接下来会发生什么。我说的是这样的问题，我们如何将今天容易被黑客攻击的计算机转变成强大的人工智能系统？当人工智能系统变得越来越智能时，如何让它们理解我们的目标？

当你的电脑死机时，很烦人，你损失了一个小时的工作，但如果那台电脑控制着你乘坐的飞机或美国的核武库，那就没那么好笑了。

人工智能应该有什么目标？它应该是一些美国计算机程序员的目标，还是***国或中世纪人的目标？我们能创造一个什么样的社会？看看美国现在的两极分化程度。

如果我们不知道我们想要什么，我们就不太可能得到它。你也不能把这个话题留给像我这样的科技怪才，因为我们创造什么样的社会会影响到每个人。

你讨论的许多计划都是大局性的，比如法律需要如何更新才能跟上人工智能的发展。但是普通人呢？我们该怎么办？

谈话是个很好的开始。我们上次选举的两位总统候选人都没有谈论人工智能，尽管我认为这是我们面临的最重要的问题，这反映了人们没有谈论人工智能，因此在投票时也不关心人工智能。

你什么时候会认为自己“成功”地确保我们进行了这次谈话？

这样看吧：我们现在投入了数十亿美元，让人工智能变得更强大，而在人工智能安全研究方面几乎一无所获。世界上没有一个国家的**说过，人工智能安全研究应该是他们计算机科学资金的一个组成部分，就像，你为什么要资助建设核反应堆而不资助核反应堆安全？现在我们资助人工智能研究，却看不到人工智能安全的预算。我当然不会说我们有足够的对话，至少，直到这个改变。我认识的每一位人工智能研究人员都认为，为这个项目提供更多的资金是个好主意。所以我想说，当这样的事情朝着正确的方向发展的时候，我们是成功的。