人类的意识没有魔法，只有傲慢。

作者丨郭海惟

编辑丨陈彩娴

那个因为腰痛而坐不下的男人，终于还是在WAIC坐下了，对面则是同为图灵奖得主、上海期智研究院院长姚期智先生。

Geoffery Hinton给大家带来了几个话题与故事，几乎每一个都是关于人与AI的。

第一个是关于人脑与Transformer的。

他认为前者更好解决了时序问题，可以给后者以借鉴。同时，他认为人脑本身可以被视作拥有“粗略的”Transformer模型功能的意识体。

第二个是关于人类的未来与AI道德的。

他把这视为目前亟待解决的最重要的问题，Hinton说，要塑造一个善良的AI或许很像养育孩子。

“养孩子的时候，你可以给他定规矩，但那几乎不起什么作用。你可以奖赏惩罚他，有一点效果。或者你可以给他展示好的行为榜样。如果父母表现出良好的行为，孩子通常会成长为一个品德高尚的人。”

Hinton承认，无论是做“善良”的语料库，还是改造人类社会，让世界整体都变得善良，其实是一件很难的任务。而潜在的解决方案之一，或许是我们先训练一个初步善良的AI，然后再以此为基础，一步步训练出更善良的AI。

第三个是关于大模型与意识的。

Hinton讲了两个故事，一个是他与女儿关于鹦鹉的辩论。

他认为鹦鹉可以理解事情，大模型也可以，而大部分语言学家其实都错了。与早前的演讲一致，他说“任何真正用过大型语言模型的人，都不可能相信它们听不懂你在说什么。”

他不认为人类意识存在某种带有神秘性色彩的“内在剧场”。他认为，如果AI甚至已经可以分清楚“主观体验”与“客观存在”之间的偏误、能弄清楚自己是否“误解”了别人的话，那没有理由认为，大模型只是机械地预测，而缺乏真正的“理解”能力。

Hinton说，“如果你真想把下一个词预测好（尤其当它是回答一个问题的第一个词时），你就需要已经理解了别人说的话。”“仅仅通过努力预测下一个词，如果你想把它做到极致，你就迫使系统去理解那个问题。”

更糟糕的事情是，Hinton认为，这种将人类意识“特殊化”的叙事，不仅是无稽之谈而且是危险的。

他说，“我觉得许多人对超级智能的恐惧没有应有的那么大，因为他们仍相信我们身上有某种特殊的东西——主观体验、感知能力或意识——是这些其它系统永远无法拥有的。也就是说，我们很特别，我们有一种魔法成分——意识或主观体验——而 AI 没有。所以我们觉得会没事，因为我们有它们没有的东西。”

从某种程度上来说，Geoffery Hinton其实在挑战某种古已有之的人类中心主义的叙事——这种思想认为人类比鹦鹉更高级，自然也比AI更特殊。

但那“是危险的无稽之谈，因为它会让我们自满（complacent）”，从而让人类最终低估AI对我们的冲击，Hinton表示。

或者正如姚期智在对话中所说的：

“我想我们或许太心高气傲了。我们以为我们可以拥有一切，但整个宇宙并不那么仁慈。我认为我们掌握的量子、核以及生物合成的秘密知识并非毫无代价。”

我们或许正在处在物种与文明变化的十字路口，大模型不仅可能颠覆现有的生产关系，也极大地挑战着人类对自我意识的固有认识——

自然在某种程度上，它也在挑战人类的傲慢。

中文翻译参考大会论坛速记，AI科技评论在不影响原意的基础上，对部分文字做了调整：

01

Transformer与我们的大脑

姚期智：

您是神经网络领域的先驱，曾利用神经网络创建过一个称作“微型语言模型”的东西，它最终演变成了目前正在改变我们生活的“大型语言模型”。

受大脑启发的，现在我们已经创造出了这种惊人的计算机架构，它在某些方面似乎超过了大脑。我们是否还有什么可以向脑科学（或者更正式地说，神经科学）学习的？

Geoffery Hinton：

没错，如果没有大脑作为模型，我认为根本不会有人去尝试让神经网络发挥作用。通过调节连接强度让简单单元组成的网络进行学习的这个想法，完全是来自于大脑。

我们是否已经到了这样一个阶段：AI 将自行腾飞，再也不需要来自大脑的启发？我认为这并不完全正确。有一个特定方面，我们现有的 AI 模型可以从大脑得到很多启发——

关于拥有多少种不同的时间尺度的问题。

在所有的 AI 模型中，神经网络中权重的调整有一个慢速的时间尺度，而神经元活动的变化有一个快速的时间尺度。也就是说，当你改变输入时，所有神经元的活动都会改变，但权重保持不变——权重只会慢慢发生改变。

在真实的大脑中，神经元之间的连接（也就是突触）会以许多不同的时间尺度进行适应。所以很长一段时间以来，我一直建议我们应该在神经网络中尝试引入三种时间尺度——我们应该有缓慢变化的权重，即普通权重；还应该有快速变化的权重。这些快速变化的权重能够快速适应，但也会快速衰减。这样可以提供一种容量极高的短期记忆。

但人们没有这样做是有原因的。（尽管）Ilya Sutskever 和我在 2010 年尝试过这样做，而且成功了。

如果每个训练样本都有一套不同的权重，那么对于每个训练样本而言，两种权重之和都是不同的（因为快速权重会快速调整，而实际权重是慢速权重和快速权重之和）——这意味着你无法有一套统一的权重矩阵用于许多不同的训练样本。所以无法进行矩阵乘法，最终只能做向量-矩阵乘法，这效率不高。

仅仅因为这个技术原因，人们就此停止了对多时间尺度的研究。

从长远来看，我认为我们会在神经网络中引入多种时间尺度。我认为这方面我们还没有充分利用来自大脑的启发。

目前为止，还没有人沿着这一思路产出比当前大型语言模型更好的东西。因为在当前的计算机硬件上，这是无法高效实现的。

姚期智：

我第一次听到这样的想法。对我来说，这真的是一个既新颖又原创的主意。特别是对于在座的年轻科学家而言，如果我是你们，我回去就会立刻开始做实验。

从某种意义上说，这可能正是创造出“微型语言模型”继任者的契机。科学告诉我们，每一次科学革命都是不同的。如果你试图去复制上一代、上一场革命的成功，你很可能会失望。

那么，我们该如何克服这个难题，并在小规模上做出一些成果呢？其实并不一定需要大型的模拟。Jeffrey 的成功经历说明，当你真的是一位伟大的科学家时，可以用非常小的规模就完成目标（也许不能像物理学那样在信封背面演算就行，但只用一个小型系统就足以演示出效果）——然后你就可以说：“能帮我把它扩展吗？”

Geoffery Hinton：

是的，我完全同意那种方法论。

姚期智：

是，但至少对我们来说，想出如何利用大脑的生物结构并不容易。因为我们无法像对大型语言模型那样轻易地在人体大脑上做实验，获取数据很不容易。除非他们在猴子上做实验（这一点我也表示保留）。现在可能正是该反思一下脑科学能否从大型语言模型中学到点什么的时候了——大型语言模型或许可以为大脑的运作方式提供一些线索。

我来问您第二个问题：您认为在人类大脑中是否存在类似于 Transformer 那样的结构？

Geoffery Hinton：

过去二十年里，大型语言模型乃至 AI 整体的成功确实对神经科学产生了影响。在 AI 取得巨大成功之前，神经科学家们并不清楚一种学习技术——随机梯度下降（就是计算出梯度然后沿梯度下降）——是否能够在非常庞大的网络中发挥作用。

符号派 AI 有着悠久的历史，其中人们一直声称这种方法永远行不通。而大型语言模型证明了，沿着梯度进行学习在真正庞大的系统中非常有效。这给神经科学上了一课。

至于 Transformer ：乍看之下，你没法把它套用到大脑上。 Transformer 会记住许多前面词语的表征，而在 Transformer 里，那些表征是以神经活动的形式被记住的。Transformer 有很多层，对于之前所有那些词，你都在以神经活动的形式记住它们。这在大脑中是完全不可能的——你的神经元不够用。

你无法记住所有先前词语的活动模式。词一个接一个出现，你会为它们产生相应的活动模式。而这些活动模式必须在某种程度上取决于你处理之前那些词的方式，但你又无法以活动模式的形式将它们记住。因此，这正是快速权重派上用场的地方。

你需要这样一种系统：对先前词汇的表征不是以神经活动模式存储的，而是作为联想记忆中权重的临时修改来存储，以便你可以访问它们。当前词有它自己的活动模式，你将它作为输入提供给联想记忆，那么联想记忆输出的就是之前那些词的表征，并且这些表征根据它们与当前词的相似程度被赋予相应的权重。

通过这样做，你实际上可以用快速权重实现一个非常粗略的 Transformer 版本。虽然不完全一样，但通过快速权重实现的方法非常相似。

因此，我至今对快速权重感兴趣的原因之一是，我认为这是让大脑做出类似 Transformer 功能的唯一途径。

姚期智：

但这就有点假定了：尽管大脑不同于大型语言模型，它也使用类似词嵌入的东西。对，有点那样的意思。那么，是否有具体的证据表明大脑在某种程度上以那样的方式运作，还是说那只是……

Geoffery Hinton：

我想是有的。很久以前——我记不清具体多久了，大概 2009 年左右——曾有一些研究通过 MRI 获取大脑信息，尝试判断人们在想哪个单词。结果成功了。所以，一个单词的表征就是大脑中一种神经活动模式，而且通过观察这种神经活动模式，你大概可以猜出那是什么单词。很明显，大脑是通过许多神经元的活动模式来表征单词的。

姚期智：

我明白了。所以我想你之前的说法在某种程度上解释了，大脑找到了一种方法来跟踪这个过程中单词向量不断变化的时间序列。而且大脑设法以一种我们尚未完全理解的方式将其压缩了。

Geoffery Hinton：

是的，但这可能意味着它在压缩非常长的上下文时会丢失一部分信息。不过它也不会就那样忽略很久之前的词——那些词仍然保存在这些快速权重中。有一篇 2016 年的论文讨论了这个问题，它的第一作者是 Jimmy Ba（他的中文名字怎么读我不清楚）。

姚期智：

Jimmy Ba是你的？

Geoffery Hinton：

当时我在指导（advising）他。这个研究是我们一起完成的，他负责了所有编程工作。这篇论文发表于 2016 年，就在 Transformer 出现之前。它实际上展示了如何可以在大脑中实现类似 Transformer 的东西。它的标题好像是 “Using Fast Weights to Attend to the Recent Past”。

02

特殊化人类意识的叙事，让我们低估AI风险

姚期智：

现在我想转向一些更哲学性的问题。

Jeffrey，我不确定你是否知道，Alan Turing 这个名字翻译成中文带有一个“灵”字，而“灵”在中文里意味着“得到启发”。

所以我觉得，这恰好与你的描述非常契合：图灵也提到了神经网络的这个理念。基于此，我想问你的一个问题是：我记得在今天早上的演讲中，你有一句非常重要的表述，你认为完全可以说大型语言模型理解它们自己所说的句子。你可以再详细阐述一下吗？

Geoffery Hinton：

我这里可以讲一个故事：我曾第一次在和我女儿的争论中输给了她，那时她才 4 岁。

她下楼来对我说：“爸爸，你知道吗？鹦鹉会说话哦？”

我说：“不，Emma，鹦鹉不会说话。它们只是能发出听起来像说话的声音，但那只是学舌，它们不明白那些声音的含义。”

她说：“不，你错了，爸爸。它们会说话。”

于是我说：“不，Emma，它们并不理解这些词的意思。”

她说：“会的。我刚看了一个节目，一个女士给鹦鹉看了一辆汽车，鹦鹉就说‘汽车’。”

就这样，我在和我 4 岁女儿的争论中输了。

而我觉得如今的语言学家在某种程度上也有点类似。

语言学家们最初的反应是：“哦，这些玩意儿并不会说话。这些玩意儿并不理解它们在说什么。这些东西只是用来预测下一个词的统计技巧。它们没有任何理解能力。”但这种看法有好几处是错的。

首先，如果你真想把下一个词预测好（尤其当它是回答一个问题的第一个词时），你就需要已经理解了别人说的话。所以有趣且对我们大有帮助的一点是，仅仅通过努力预测下一个词，如果你想把它做到极致，你就迫使系统去理解那个问题。

语言学家们提出了很多反对意见，现在仍然有语言学家说这些东西什么都不理解。但我认为现在的情况是，任何真正用过大型语言模型的人，都不可能相信它们听不懂你在说什么。

而我最有力的论据是这样的：假设我对一个大型语言模型说：“我在飞往芝加哥的途中看到了大峡谷。”

大型语言模型回答：“那不可能是对的。因为大峡谷太大了，飞不起来。”

然后我对模型说：“不，我不是那个意思。我的意思是，在我飞往芝加哥的途中，我看到了大峡谷。”

大型语言模型说：“哦，我明白了，我误会了。”

如果刚才那算是它的误解，那它在其他时候又是在做什么呢？

姚期智：

所以这种现象甚至在一个微型语言模型上也能出现。

Geoffery Hinton：

绝不只是“微型”……我来告诉你它有多“微小”。它的词嵌入只有 6 个神经元，网络中的权重数量大约是 1000 个，训练样本的数量是 10^6（100 万）。规模非常小。

姚期智：

延伸这一思路，我会假设现在那些多模态聊天机器人不仅能够“理解”，它们还能做到更多，对吗？

Geoffery Hinton：

是的。我认为有一个很大的问题（我今天早上演讲中没提到），就是——这些多模态聊天机器人是否有知觉？

不同的人用不同方式表达这个问题。有些人问，它们有知觉吗？有些人问，它们有意识吗？还有人问，它们有主观体验吗？

那么我们来讨论一下主观体验的问题。

在我们（至少是我的文化）文化中，大多数人认为我们有一个叫作心灵的内在剧场，在这个内在剧场中发生的事情只有自己能看到——举例来说，如果我喝多了，我对你说：“我有一种主观体验，觉得有粉红色的小象在我面前漂浮。”

西方文化中的大多数人会将此理解为：存在一个叫心灵的内在剧场，而在这个剧场里，有小粉红象在眼前漂浮。如果你问这些小象是由什么构成的，哲学家会告诉你它们是由感质（qualia）构成的：由粉红色的感质、大象的感质、漂浮的感质、不太大的感质和正着的感质，都用感质胶水粘在一起——

由此你可以看出，我并不太相信这个理论。

现在，有一种完全不同的理论，来自丹·丹尼特等哲学家——他们认为根本不存在什么内在剧场。

他们认为，当你谈论主观体验时，你并不是在说自己心中，只有自己能看到的、纯粹个体的事情。其实是在试图向别人解释你的感知系统哪里出问题了。

让我把“我有小粉红象在我眼前飘浮的主观体验”这句话换种说法，不用“主观体验”这个词。可以这样说：

“我的感知系统骗了我。但是如果外部世界中真的有小粉红象在我面前飘浮，那我的感知系统说的就是真话。”

因此，当你谈论主观体验时，你是在向他人传达你的感知系统出了问题。这就是你称之为“主观”的原因，而你是通过描述一种假想的世界状态来做到这一点的。所以这些小粉红象并不是由什么叫感质的奇怪东西构成的。它们是假想的真实粉红小象——“粉红”和“象”都是真实的，只不过是假想的。

现在让我把这个套用到聊天机器人上。假设我有一个多模态聊天机器人——它会说话，会指物，配有摄像头。我训练它，然后在它面前放一个物体，对它说：“指一下那个物体。”它指向了那个物体。

现在我在摄像头镜头前放一块棱镜，干扰了它的感知系统。然后我再在它面前放一个物体，对它说：“指一下那个物体。”结果它指向了那边。我说：“不，物体不在那边，它其实就在你正前方。但我在你的镜头前放了一个棱镜。”

聊天机器人说：“哦，我明白了，是棱镜折射了光线。所以物体其实在那里。可是我的主观体验是它在那边。”

如果聊天机器人这么说，那么它使用“主观体验”这个词的方式和我们人类用的一模一样。这也是我相信当前的多模态聊天机器人在其感知系统出错时具备主观体验的原因。而当它们的系统运作正常时，那就是客观体验——我们就不会费心去使用“体验”这个词了。

姚期智：

我觉得这非常有说服力。我同意你的说法：从科学角度讲，“理解”只是行为层面的表现。所以我想问你这样一个问题。哲学家们听到这种论断时，会跳起来，非常恼火。

Geoffery Hinton：

哲学家都是这样的。

姚期智：

是，但如果我们单纯站在科学家的立场来看待，这些问题的答案重要吗？因为当你做科学研究、从事 AI 研究、设计算法时——

如果我们在科学讨论中完全排除掉这些问题，它不会减少什么，也不会增加什么。

是这样吗？

Geoffery Hinton：

我认为这更多是政治性的。

我觉得许多人对超级智能的恐惧没有应有的那么大，因为他们仍相信我们身上有某种特殊的东西——主观体验、感知能力或意识——是这些其它系统永远无法拥有的。也就是说，我们很特别。我们有一种魔法成分——意识或主观体验——而 AI 没有。所以我们觉得会没事，因为我们有它们没有的东西。

我认为那是无稽之谈。而且是危险的无稽之谈，因为它会让我们自满（complacent）。

03

善良是AI最重要的未解之题

姚期智：

我想我们第一部分差不多要结束了，但我有个问题一直迫不及待地想问 Jeffrey：你认为 AI 领域最重要的未解决问题是什么？

Geoffery Hinton：

我认为最重要的未解决问题是：如何训练出一个最终是善良的 AI。我们需要找出如何训练它们，使其不想接管一切，而目前没有人知道该怎么做到这一点。

我的猜想是，这很像养育孩子。

养孩子的时候，你可以给他定规矩，但那几乎不起什么作用。你可以奖赏惩罚他，有一点效果。

或者你可以给他展示好的行为榜样。如果父母表现出良好的行为，孩子通常会成长为一个品德高尚的人。

所以我觉得我们应该用精心筛选的数据来培养 AI——当 AI 开始学习时，它只接触好的行为。我们把所有人的不良行为先存起来，等它学会了什么是好的行为之后，再把那些不良行为给它看。

姚期智：

是啊，如果这样行得通，那肯定能解决很多有关 AI 未来发展的问题。

不过让我再追问一下，因为我觉得，要训练出一个完全善良的 AI 比看起来要难。

Geoffery Hinton：

我们现在还不知道怎么做到……

姚期智：

而且我怀疑，你多少可以证明那是不可能的。我也不确定。

但我同意你的说法，这确实是 AI 最大的未解难题。所以我认为应该把正反两面的所有可能性都考虑进去。

让我稍微谈一下我的想法，算是对你所说的回应——

我相信，这个世界上有好人，也有坏人。但事实上，好人也可能在不同环境下变成坏人。所以我认为，“善良”这种特质也是和情境相关的。如果你在一个环境恶劣的社区长大，要成为常人眼中的好人是很难的。

我的担忧是，就像你养育一个孩子。如果他成长在富裕家庭、良好社区，你知道，他会成为彬彬有礼的人，甚至拿个诺贝尔奖之类的。

但在极端压力下，比如战场上（很多时候，你知道哲学家说这些情形不一样是有道理的，因为有时你必须做出价值判断，这类例子有很多）。如果机器人在许多那样的情境下接受训练——因为你知道，要真正把机器人训练得善良，就得在许多情境下考验它——我猜想，一台好机器人，如果你让它承受巨大的压力，并且一旦做错就会被销毁，那么它就会变得非常冷酷无情。

所以我的意思是，我觉得要做到你说的那一点，一个宏伟的理想是我们应该首先改造人类本身。如果我们能得到一个善良占上风的世界，没有人在极端压力下被迫做事，然后我们再用这种方式训练机器人，那么最后大家都会很满意。

但这一切……都只是一个假设而已。

如果我们无法让人类社会达到那种状态，我认为，我们就无法保证那些心怀不轨者不会制造出带有敌意的机器人来消灭所有善良的机器人。

Geoffery Hinton：

但我们没有那个时间了。事实上人类为此已经努力了很久。

联合国并没有实现最初的设想，远没有达到当初预期的那样有影响力。我认为我们没法及时做到你说的那点。我们不可能以足够快的速度改革人类社会，来赶上应对即将到来的超级智能 AI 威胁。

还有一个替代方案，听起来有点像硅谷的想法：假设我们能造出一个大体上善良的 AI，然后让它去设计一个更善良的 AI。也许要真正解决如何制造善良 AI 的问题，你需要一个比我们聪明得多的 AI 来完成。

所以可能可以用递归的方式让 AI 变得越来越善良。有点像机器学习中的提升（boosting）：你先有一个弱学习器，再把它变成强学习器。这是一个可能的路径。但就像我说的，目前我们还不知道怎么做到。我只是不认为首先改造人类社会会是一个选项。

姚期智：

是的，我能在一种情况下看到一线希望，也就是——假设 AGI 的发展是渐进的，并不是一夜之间突然就支配了我们。

当迹象已经非常清楚地表明机器人将接管世界，把全人类都置于同一条船的一边……我想那时候就像遇到火星人入侵。在那种情况下，我相信还是有可能的。

也许对我们来说那会是好事，让我们汲取教训，认识到人类的局限。

我想我们或许太心高气傲了。我们以为我们可以拥有一切，但整个宇宙并不那么仁慈。我认为我们掌握的量子、核以及生物合成的秘密知识并非毫无代价。

这是一个我们人类应该意识到的危险，我们应该珍惜自己的好运——因为我们竟然能走到今天、领悟数百年来所有这些卓越的思想，实在是个奇迹。

我认为我们应该珍惜这一点，并且应该友善地对待彼此。我完全同意这一点。好了，现在该轮到你…

04

量子力学能填补AI的能力空白

Geoffery Hinton：

轮到我了。你懂很多物理，我自己几乎不懂物理。所以我有几个关于量子计算的问题想问你。

第一个问题是，大多数物理理论在极端条件下都会失效。比如说，牛顿定律在很长时间里看起来都非常正确，精确适用。但后来发现，在非常高速的情形下，牛顿定律就不成立了，你需要一个更宏大的理论。

你认为有没有可能，我们对量子力学的理解也无法一直成立？也就是说，在某些情况下——比如无法保持非常复杂的纠缠，而量子计算依赖于完美维持这些纠缠——

如果在某些环境下出现一点不完美，最终量子计算实际上可能行不通？有这种可能吗？

姚期智：

我认为按照正统的量子理论，只要量子理论成立，纠缠多少个量子比特都不影响其有效性。但在实践中，就目前而言——我有个物理学家朋友告诉我——物理学家目前能够实现深度纠缠的最大粒子数大概是 60 个。

所以我们距离理想中想要执行的那种量子计算还差得很远。从这个意义上说，这确实是个悬而未决的问题。

不过物理学家或自然科学家的观点是：如果你有一个好的理论，在出现相反证据之前不要去动摇它。

我记得在量子计算的早期（你应该知道 1982 年费曼有一篇很有影响力的论文），到了 90 年代初，计算机科学家开始参与进来。当时有几位非常受尊敬的一流理论计算机科学家，他们认真质疑过，比如说量子因数分解算法是否真的可行，因为物理学家一直无法在实验中实现那些算法。

我认为物理学家是能做到的。你知道，有一些自然系统，其纠缠理论上确实可以是无限的。

比如一个玻色-爱因斯坦凝聚态——说的是中性原子，那类粒子——它们有点像好朋友，想要挤在一起。现在它们如此靠近，以至于变得不可区分，因此这就给你提供了一个天然的纠缠。

这是一种完全的纠缠。但是对于我们想用来计算的东西——我的意思是，你不希望粒子在比特中彼此混淆。

我认为答案尚未揭晓。

我的那些对这个问题感兴趣的朋友，我猜他们内心是想拿诺贝尔奖的——他们觉得，如果计算机科学家设计出量子算法并由物理学家实现，结果发现并不能给出正确答案，那么计算机科学就通过在量子理论中制造了一个悖论而作出了巨大贡献。

不过我认为就目前而言，我所有搞量子计算的物理学家朋友都完全忽略了这种可能性。我想对他们来说——可以说这就跟圣经一样（毋庸置疑）。

Geoffery Hinton：

那么，第二个问题：我们先假设量子计算最终能够奏效。你认为在未来比如 10 到 15 年内，量子计算会对 AI 产生巨大影响吗？

还是你觉得 AI 的进展会依靠经典计算来实现？

姚期智：

我觉得这是一个非常有趣的问题。我认为这对 AI 和量子计算来说确实都是一个前沿问题——因为量子的威力来自一种与 AI 所带来的能力完全不同的方向。

所以自然而然的问题是：就目前所知，在当今世界上，终极的计算能力将来自于在量子条件下构建 AI 机器。

换言之，你用量子计算机来进行学习。原则上，我们应该能得到更好的成果，因为量子肯定——至少利用量子，可以做到一些 AI 做不到的事情，比如分解大整数（我想几乎没有从事 AI 的人认为 ，AI 真能做到这一点）。

我的意思是，AI 并不总是“超级智能”，它不会分解，我们也不指望它去分解数值。所以我们不必那么害怕 AI，因为有些事我们能做到，而超级智能机器做不到。

05

我们需要机器人心理学

Geoffery Hinton：

接下来还有一个不涉及量子计算的问题。有些人认为，我们现在在 AI 中所做的就是在创造外星生命——某种意义上它们确实是生命。

我听你说过，如果事情真是如此，我们需要为这些外星生命建立一门心理学。

你能详细谈谈吗？

姚期智：

我认为我们字面意义上就是在创造外星生物，这跟合成生物学家做的事情如出一辙。他们中许多人在思考如何从无生命的化学分子中创造生命，而我们，则是在用不同的方式构造外星生命。

但是我记得你今天早上提到，这些超智能机器真的是外星人。它们也许看起来像可爱的小老虎，但其实不是。

所以我的感觉是，尽管我们同意在科学讨论中去除“意识”和“理解”这些词不会损失什么，但在我们尝试构建机器时，考虑看看能否将这些特性赋予进去以让它们更加善良，实际上可能是有益的。

为此，我确实相信在某个时候 AI 将催生一个独立的学科，也就是机器心理学。

我觉得这很有意思，因为机器心理学和普通心理学之间的关系是这样的：目前我们基本上还没有真正的 AGI，所以我们仍然有许多需要向人类学习的地方。目前所有智能机器都有一个前提：由人类设计者确定其高层结构。

归根结底，AI 大多就是以智能的方式搜索大量可能性的能力，有时这种方式还很神秘，我们无法理解也无法证明。所以假设我暂且不考虑安全问题，只管去设计我所能设计的最聪明的机器，同时努力让它保持善良。但最好的指导仍然来自人类——我们雇佣聪明的人来思考如何设计体系结构。

我认为目前我们可以利用人类心理学作为指导，对机器进行初步的分类，并对它们进行测试。但我相信，机器心理学最终会比人类心理复杂得多——因为在欺骗方面，它们甚至会比我们人类中最不堪者还要更胜一筹。

所以当它们聪明到那种程度，如果我们想研究它们的心理，我认为就得由它们自己的同类来发展这门学科——

也就是由机器自己来研究。

离开优必选的日子

腾讯 Robotics X 无战事