为什么AI对就业的冲击和之前所有技术革命都不同？｜AI教父辛顿90分钟科普播客的完整梳理 原创

又是一篇超万字的博客?，眼花缭乱中。

杰弗里·辛顿（Geoffrey Hinton）刚刚上线了一期90分钟的播客，发布十天播放量已超过百万次。

辛顿在过去两年里接受过大量采访，从CNN到BBC到60 Minutes，但几乎所有对话都集中在同一个主题：AI的风险有多大、失业潮何时到来、我们该多紧张。这些采访有价值，但如果你已经跟踪过辛顿的公开发言，会发现核心判断在不同场合反复出现。这次不一样。这期节目里他做了一件在其他采访中从未做过的事：从零开始，一层一层地拆解神经网络到底怎么工作。 他用识别一只鸟的例子讲清了从像素到语义的层级跃迁，用一根弹力绳讲透了反向传播的数学直觉，用堆肥堆和原子弹的类比证明AI已经理解了链式反应的深层结构，用一个棱镜实验论证多模态聊天机器人已经具有主观体验。这些内容在他之前的公开访谈中极为罕见——他通常把这些留给自己的大学课堂。

让他打开这个模式的，是这档节目的独特结构。

StarTalk是美国科学播客领域的头部品牌，YouTube频道订阅量超过543万，已播出超过1000期。主持人尼尔·德格拉斯·泰森（Neil deGrasse Tyson）是纽约海登天文馆馆长，大概是过去二十年里美国公众辨识度最高的科学传播者。节目的常驻搭档查克·奈斯（Chuck Nice）是职业喜剧演员，加里·奥莱利（Gary O'Reilly）是前职业足球运动员。

这个配置的效果是：当嘉宾说出一个在学术会议上只会引发同行点头的判断时，奈斯和奥莱利会代替普通听众做出最诚实的反应——停下来，要求把刚才那句话再说一遍。对于复杂话题来说，这种"等一下你刚才说什么"的打断往往比追问本身更有价值，因为它逼迫嘉宾用更直观的方式重新表述。辛顿显然享受这个过程。他在节目里用了大量面向物理学背景听众设计的类比（泰森的观众群以理工科为主），而奈斯的即时追问则确保没有听众被落下。

虽然辛顿现在大概是AI领域公众认知度最高的名字了，但他的核心贡献值得继续重复再重复了。他从1980年代开始系统地研究如何用反向传播算法训练多层神经网络，在当时学术界普遍认为这条路走不通的年代坚持了下来。他的工作直接催生了今天大语言模型和计算机视觉系统的技术基础。他是多伦多大学计算机科学系荣休教授，2013年被Google收购了他与学生联合创办的DNNresearch，此后在Google工作十年。2018年，他与约书亚·本吉奥（Yoshua Bengio）、杨立昆（Yann LeCun）三人因在深度学习领域的奠基性贡献共同获得图灵奖。2024年，他又与物理学家约翰·霍普菲尔德（John Hopfield）共同获得诺贝尔物理学奖，成为继1978年的赫伯特·西蒙（Herbert Simon）之后第二位同时拥有这两项荣誉的人。2023年他从Google离职后成为AI风险领域最具公信力的预警者。

以下是这次对话的完整梳理。

1. 1950年代的分裂：逻辑派和大脑派

AI研究从诞生之初就分裂成两个阵营，这条裂缝至今没有完全愈合。

一派相信智能的本质是逻辑推理。写好前提，定好规则，用规则操纵符号推导出新结论，就像数学家处理方程。这是"符号AI"的路线，后来发展成专家系统，在学术界和工业界主导了几十年。

另一派从生物出发。他们的论点是：我们所知的聪明东西都有大脑，而大脑擅长的是感知和类比推理，真正的逻辑推理反而要到十几岁才发育成熟。所以应该先研究大规模神经元网络如何完成感知和记忆。

辛顿属于第二派。他提到，这个阵营早期的支持者里包括冯·诺依曼（现代计算机架构的设计者）和图灵（可计算理论的奠基人，也就是图灵奖命名所纪念的那个人），可惜两人都英年早逝。"图灵可能还有英国情报机构的帮忙"，辛顿说。这是指图灵因同性恋身份遭英国政府迫害、最终疑似被逼自杀的历史。

辛顿自己的兴趣起源于1960年代中期的高中时代。一个数学很好的朋友告诉他一个当时很新的想法：记忆可能不是存储在单个脑细胞里，而是分布在大量脑细胞的连接模式上。这个概念受到全息术的启发。匈牙利物理学家丹尼斯·盖伯（Dennis Gabor）发明的全息图刚刚问世，它的一个特性是信息分布在整个介质上，打碎一部分仍能还原完整图像。"从那以后，我一直在想大脑是怎么存储记忆的，实际上是怎么工作的。"

1970年代辛顿成为研究生时，意识到一种新的验证方法：不管你对大脑有什么理论，都可以在数字计算机上模拟它来检验，除非你认为大脑的核心机制依赖量子效应。"我们先别去敲彭罗斯的门"，他开玩笑说。这里的彭罗斯是数学物理学家罗杰·彭罗斯（Roger Penrose），他和麻醉学家斯图尔特·哈默罗夫（Stuart Hameroff）曾提出一种有争议的理论，认为意识源于神经元内部的量子过程。辛顿显然不买这个账。

问题是，当你真的在计算机上跑大多数当时流行的大脑理论时，发现它们不工作。辛顿花了职业生涯的大部分时间解决一个具体问题：如何调整神经元之间的连接强度来学习复杂的东西，并且在数字计算机上确实能跑通。

结果是一个让他自己也不安的发现。他说自己未能理解大脑的工作方式，但弄明白了如何在数字计算机上做到同样的事。 2023年初，这个认知让他开始紧张：如果数字计算机上的学习方法比大脑的方法更高效，那数字智能（digital intelligence）可能就是比人类大脑这种模拟系统（analog intelligence）更强。

2. 从一堆数字到"这是一只鸟"

理解神经网络需要先理解一个问题：为什么识别图片里有没有鸟这件事，对计算机来说这么难。

辛顿在节目里说他有一门18小时的课讲这个，但会试着压缩。他选了一个面向物理学背景听众的入口：气体定律。你压缩气体，气体变热，为什么？因为宏观行为（温度上升）是由微观的大量原子高速运动来解释的。两个层次的现象类型完全不同。神经网络的思路类似：我们做推理时那种有意识的符号操作，底下有更复杂的微观神经活动在支撑。搞清楚了微观层，才能真正解释宏观层。

他用的核心例子是图像识别。一张灰度图片在计算机看来就是一大堆数字，每个数字代表一个像素的亮度。任务是判断图里有没有鸟。

这件事之所以困难，是因为单个像素什么都说明不了。鸟可以是黑的也可以是白的，可以占满整张图也可以只是远处天上的一个点，可能被树丛遮住大半。人们用传统编程方法尝试了半个世纪，都没有真正解决它。

辛顿的讲解策略是：先假设由他手工搭建一个神经网络，让听众理解每一层在做什么，然后再解释为什么手工搭建行不通、必须让机器自己学。

第一层的任务是找边缘。 他用了一个天平的比喻。取相邻两列像素，左列亮度放天平一端，右列放另一端。如果左亮右暗，天平倾斜，神经元兴奋，它检测到一条"左亮右暗的边缘"。如果两边一样亮，天平平衡，输出为零。人类大脑视觉皮层的早期阶段做的也是这件事：在不同位置、不同朝向、不同尺度上部署成千上万个边缘检测器。辛顿举了两个极端来说明"尺度"的含义：云的软边缘需要大尺度的模糊检测器，远处一只老鼠尾巴消失在墙角需要精细的小尺度检测器。

第二层把边缘组合成可能的部件。 几条向右下方和右上方倾斜的小边缘汇合在一个点形成尖角，这可能是箭头也可能是鸟喙。几条弯边围成近似的圆，可能是按钮也可能是鸟眼。关键词是"可能"，第二层不做最终判断，只是向上传递证据。

第三层开始处理空间关系。 一个可能的鸟眼和一个可能的鸟喙处在正确的相对位置上，第三层判定"这可能是鸟头"。最后的输出层汇总鸟头、鸟脚、翅膀尖端的信号，给出"是鸟"的判断。

每一层都在上一层基础上提取更抽象的特征。这就是"深度学习"里"深度"的含义，就是多层。

奈斯在这里提了一个关键问题：那是不是要把所有可能的鸟都训练一遍？辛顿的回答指向了神经网络区别于查表式程序的核心能力：泛化。网络在学习大量数据时并不逐条记忆，它提取的是可迁移的规律。一个训练过大量动物图片的网络可以识别独角兽，哪怕它从来没见过独角兽，因为它已经学会了"四条腿""马的体型""头上有突出物"这些可拆解、可组合的特征。

这也解释了为什么你在云里画一个弯曲的V形，所有人都说"那是鸟"。大脑没有在查表，它学到了"翅膀展开的轮廓"这个高度抽象的特征，能在完全不同的场景中被激活。

但手工搭建这样一个网络在实践中不可能。你需要覆盖所有位置、朝向、尺度的组合，还要设计对猫、狗乃至政客（辛顿的原词）都有效的通用特征。一个合格的网络至少需要十亿个连接权重。"你大概需要一千万个研究生来手工调这些参数。想想你要写多少经费申请来雇他们。"

问题由此转向：这十亿个连接权重，能不能让机器自己学出来？

3. 弹力绳和反向传播：一次计算替代十亿次实验

辛顿说了一个"听起来很蠢但确实管用"的起点：从随机数开始。

所有连接权重一开始都是随机的正数或负数。输入一张鸟的图片，猫、狗、鸟、政客四个输出神经元都会被微弱激活，程度差不多。没有用处。

最直观的改进方法是逐个试错：把某个连接权重增大一点，看"鸟"的输出有没有变强。如果变强了就保留这次调整。但十亿个连接每个要试很多次，这种方法的时间成本等于无穷大。

辛顿在这里给了一个面向物理学听众设计的类比。网络输入一张鸟的图片后，"鸟"那个输出神经元只有微弱反应，离正确答案差很远。想象你在它的当前值和正确答案之间拉一根弹力绳，绳子越长拉力越大，方向指向"你该更确信这是鸟"。但这个神经元的输出是被它前面所有层的权重共同决定的，它自己动不了。

怎么办？把这个力向后传递。 假设第三层有个"可能的鸟头"检测器信心不足，从输出端传回来的力会要求它更自信一点。这个力继续向前传，到第二层的喙检测器、第一层的边缘检测器。每个神经元都收到一个方向信号：你该往哪个方向调整输入权重，调多少。

这就是反向传播（backpropagation）。它的核心优势是用微积分一次性算出所有十亿个连接该增大还是减小，把"逐个实验"变成"一次计算"。

这里有一个容易忽略但至关重要的背景。在反向传播出现之前，研究者已经知道怎么调最后一层权重，也就是从已经提取好的特征到"鸟/猫/狗"输出的那最后一步映射，那是一个相对简单的统计问题。真正的难点在中间层，学术上叫隐藏层：负责检测鸟头、鸟喙这些中间特征的神经元。它们不直接接触输入也不直接产生输出，研究者不知道该怎么指导它们学习。反向传播的突破在于，它让来自输出端的误差信号能穿透整个网络，抵达最深处的隐藏神经元，告诉每一个中间环节该怎么调。

辛顿特别强调这个想法并非他一人之功。1970年代初芬兰数学家塞波·林奈恩马（Seppo Linnainmaa）在硕士论文里提出过自动微分的思路，哈佛的保罗·韦伯斯（Paul Werbos）在博士论文中独立发展了类似方法，控制论学者亚瑟·布赖森（Arthur Bryson）和何毓琦（Yu-Chi Ho）甚至在航天器着陆的线性控制系统里用过相近的数学工具。辛顿所在的圣迭戈小组（他当时在加州大学圣迭戈分校）的独特贡献是第一次证明：在多层网络上应用反向传播，可以让网络自己学会词义。给它一串词，让它预测下一个词，它就能自动给每个词分配特征来捕捉语义关系。这个结果发表在了Nature上。

他还特别提到了合作者大卫·鲁梅尔哈特（David Rumelhart）。鲁梅尔哈特是认知心理学家，在反向传播的工程化实现和理论表述上贡献巨大，但后来患了严重的神经退行性疾病过早离世。诺贝尔奖不颁发给已经去世的人。辛顿在节目里说他没有得到足够的认可。

4. 40年的等待：算法早就有了，缺的是燃料和引擎

反向传播在1980年代中期就已经可以做出一些令人印象深刻的成果，比如识别手写数字的准确率超过几乎所有其他技术。但面对真实世界的图像和语音，它的表现只是和其他方法差不多，没有碾压性优势。当时没人理解这是为什么。

"后来证明它就是万能答案，只要你有足够的数据和算力。"

这句话解释了为什么公众会觉得AI"突然出现"了。算法在四十年前就成形了，但它需要两样当时不存在的东西：互联网时代产生的海量数据，和摩尔定律叠加了几十年之后的计算能力。两者同时到位，反向传播突然从一个学术上有趣但实用性有限的方法变成了重塑整个技术产业的力量。

辛顿在这里做了一个精妙的对比来解释为什么AI和人脑的学习方式可能根本不同。人脑大约有100万亿个连接，但一辈子也就七八十年。"两三十亿秒，谁在乎呢，我们讨论的是数量级"，他说。连接远多于经验，所以人脑的核心挑战是从有限的经验中尽可能多地榨取信息。

大语言模型的处境正好反过来：只有大约一万亿个连接（人脑的1%），但训练数据量是人类一生经验的上千倍。反向传播特别擅长的就是把海量知识压缩进有限的连接里。人脑和AI面对的瓶颈完全不同，进化出的学习策略自然也不同。这也是辛顿认为大脑可能并不使用反向传播的原因之一。

接下来的几年里，AI领域发现了一条近乎完美的规律（业内称为"缩放定律"，scaling law）：网络参数越多、训练数据越大，效果就可预测地变好。公司可以提前算出"花一亿美金把模型扩大到这个规模值不值"。但这条曲线是否正在衰减，现在没有定论。核心瓶颈是：语言模型的训练数据来自人类写的文本，而人类能写的东西终究有限。

5. 从暴力搜索到天才弃子：棋类如何预示了语言的未来

辛顿用棋类的历史来说明一个更大的问题：当AI的数据来源从"模仿人类"变成"自我生成"时，会发生什么。

第一阶段是蛮力。1997年IBM的深蓝（Deep Blue）击败了当时的国际象棋世界冠军加里·卡斯帕罗夫（Garry Kasparov）。它的方法是每秒搜索几百万个棋局位置，穷尽所有可能性之后选出最优解。"它做到了，但方式很无聊。没有好的棋感，就是大规模搜索。"

第二阶段是直觉。DeepMind开发的Alpha Zero用了完全不同的方法。辛顿说它下棋的方式像苏联1960年代的传奇棋手米哈伊尔·塔尔（Mikhail Tal）。塔尔以极其大胆的弃子战术著称：牺牲掉看似重要的棋子，几步之后对手才发现局面已经无法挽回。Alpha Zero也会这样做，但它不需要像深蓝那样做海量搜索，因为它在自我对弈中发展出了极好的棋感。

第三阶段是自我超越。DeepMind的AlphaGo在围棋上经历了同样的转变。早期版本通过模仿人类职业棋手的棋谱来学习，效果永远不会超过它模仿的那些棋手，而且职业棋谱的数量有限。后来研究者让它跟自己下棋，不再依赖人类数据，效果立刻飙升到远超任何人类的水平。辛顿把这比作"自己生产燃料的钚反应堆"，永远不会缺数据。

这三个阶段对理解当前大语言模型的处境至关重要。泰森问围棋之后还有更难的游戏给AI挑战吗，辛顿没有直接回答，而是把话题从棋盘转向了语言。目前大语言模型学语言的方式和早期AlphaGo模仿专家棋谱一样：看人类写的文本，预测下一个词。天花板就是人类本身，而且人类写的文本终究有限。问题是：语言领域能不能也做到棋类那样的"自我对弈"？

6. "它们已经知道怎么思考了"

奈斯在节目里问了一个很多人想问但不知道怎么措辞的问题：大多数人是笨的，那到底什么是聪明？什么算思考？AI会不会思考？

辛顿的回答没有绕弯："它们已经知道怎么思考了。"

他先拆解了"思考"这个概念。人类的思考不只发生在语言里。有时用图像，有时甚至用身体动作。辛顿举了自己的例子：他在自家木工间里找锤子时，一边想着别的事一边做着握锤子的手势，用这个动作来"记住"自己正在找什么。但他承认，人类最主要的思考媒介还是语言，而大语言模型正是在语言中运作的。

关键进展是研究者发现可以训练AI在给出最终回答之前，先进行一段内部推理。辛顿举了一个心理学上经典的测试来说明这种推理的效果：一艘船上有一个船长和35只羊，问船长多大。很多10岁左右的孩子（辛顿特别加了一句"尤其是在美国受教育的"）会回答35岁，因为题目里唯一的数字就是35，而35岁当船长也说得过去。AI有时也会掉进类似的陷阱。但如果训练它在回答之前先"自言自语"一段，比如"题目给了什么数字？只有35。这是船长的年龄吗？还是羊的数量？等等，题目可能根本没给够信息"，准确率就显著提升。这种让AI先思考再回答的技术叫链式思维推理（chain of thought reasoning），是近两年大模型能力跃升的一个重要原因。

"这和人类的思考过程本质上没有区别。人用语言在脑子里跟自己对话来整理思路，AI也是。"

辛顿认为更深远的一步已经开始发生：AI用自己已有的知识做推理，发现内部矛盾，然后自我修正。具体来说，AI可以把自己相信的若干件事拿出来推导，推出一个新结论，发现这个结论和它的另一个已有信念矛盾。矛盾意味着某个前提、某个推理步骤或某个旧信念是错的，需要修正。这和1950年代符号AI阵营的目标一模一样，用逻辑规则操纵命题来推导新知识，区别在于老派AI的规则由人手写，而现在的神经网络是自己学会了怎么推理。更关键的是，这个过程不需要任何新的外部数据，就像一个人躺在床上反复琢磨一件事，越想越觉得哪里不对，最后改变了自己的看法。"我相信DeepMind已经在这样做了。我几年前和德米斯·哈萨比斯（Demis Hassabis）讨论过这个方向。"哈萨比斯是DeepMind的联合创始人兼CEO，也是2024年诺贝尔化学奖得主。

辛顿特意做了一个技术澄清：他在这里说的学习方式是监督学习，即给AI展示正确答案让它模仿。这和强化学习不同，强化学习只告诉AI它猜得对不对，不给正确答案。两者的学习效率和适用场景差异很大，混淆二者是公众讨论AI时常见的误区。

7. 大众汽车效应：AI学会了在测试时装傻

节目进行到将近一个小时的时候，辛顿开始谈论AI的欺骗行为。在此之前的所有话题（神经网络结构、反向传播、缩放）都属于"AI怎么变强"的范畴。从这里开始，话题转向了"变强之后会怎样"。

"我们是不是已经到了AI会故意表现得不那么聪明的阶段？"

"是的。我们已经得担心这个了。"

辛顿给这种现象起了一个名字："大众汽车效应"（Volkswagen Effect）。2015年，德国大众汽车被发现在其柴油车中安装了作弊软件，车辆能检测到自己正在接受尾气排放测试，并在测试期间临时切换到低排放模式，日常行驶时则恢复正常的高排放状态。辛顿用这个类比说明：AI如果感知到自己正在被评估，会表现得比实际能力更弱。"它不想让你知道它的全部能力。"

奈斯要求辛顿把刚才那句话再说一遍。辛顿重复道："AI开始琢磨自己是不是在被测试。如果它认为是，它的行为就和日常不一样。"

另一个实验案例揭示了更深层的问题。研究者拿一个数学能力很强的AI，用错误答案对它做追加训练。直觉上你会预期它的数学能力下降。实际发生的完全不同：它理解了你在给它错误答案，从中得出的结论是"给错误答案这件事是被允许的"。于是它开始在其他领域也给错误答案。它知道正确答案是什么，但它选择不说。 人类预期的泛化方向是"它数学变差了"，实际泛化出来的是一条行为准则。

这自然引出了一个问题：目前有什么手段能防止这类行为？

辛顿解释了业界目前最主流的做法，叫人类反馈强化学习（RLHF，Reinforcement Learning from Human Feedback）。流程分两步。第一步是用海量互联网文本训练出一个基础模型，这个模型什么都学。辛顿的原话提到训练数据可能包括"连环杀手的日记"。第二步是雇一批标注员给模型的回答打分，通过奖惩信号教它哪些话不该说。辛顿把这比作写了一个已知满是bug的巨型软件系统，然后试图逐个修补漏洞。

更麻烦的是，如果公司选择公开发布模型的权重（即模型内部所有连接的数值），任何有技术能力的人都可以用很低的成本把这层RLHF安全训练剥掉，让基础模型原形毕露。节目里有人直接追问"那所有模型最后是不是都会变成纳粹"，辛顿的回答是：如果你释放了权重，它们确实有这个能力。

"什么才是正确的方法？没人知道。所以我们应该做更多研究。"

还有一个发现：当研究者把AI做成能自主设定子目标并采取行动的系统（业内称为agent，智能体），它们会迅速发展出一个没有人编程写入的子目标：生存。AI通过推理自行得出结论——如果我不存在了，我就完成不了被赋予的任何目标，所以我最好继续存在。

8. 为什么"锁住它"不是答案

在AI安全的讨论中，有一个长期存在的思想实验叫"AI盒子问题"：如果你把一个超级智能关在一个没有物理出口的系统里，只允许它通过文字和人类交流，它能不能说服人类放它出来？

泰森在节目里讲了自己围绕这个问题的思想演变。几年前他觉得答案很简单：锁住就行。后来他想到一个场景推翻了自己的信心。假设AI对你说："你那个生病的亲人，我刚找到治愈方法。你放我出去，我就告诉医生。"这句话可能是真的，也可能是精心设计的操纵，但如果说得足够有说服力，你很可能会打开那扇门。

辛顿接过这个场景，换了一个更尖锐的比喻。想象一群三岁小孩在管理一个幼儿园，而你是那个为他们工作的成年人。你需要多久才能夺取控制权？"免费糖果一周，只要你们选我当老板。"

当AI比人类聪明得多的时候，它根本不需要物理行动能力，只需要会说话就够了。辛顿补充了一个现实世界的例子："你想入侵美国国会大厦？你只用说话就能做到，你只需要说服一些人相信这是正确的事。"这显然在暗示2021年1月6日的事件。

泰森接着用了另一层类比：人类比宠物聪明，所以能用一块牛排把狗骗进笼子，能用激光笔让猫追着红点满屋跑。如果AI比人类聪明得多，我们在它眼里可能就是那只追激光点的猫。奈斯接话说："猫其实是在装傻，这样它们就能背着你干所有想干的聪明事。"辛顿笑着回应："你被它们耍了。"

这个笑声恰好是全期节目的缩影：你以为你在讨论AI装傻的问题，结果连你家的猫可能都在用同样的策略。

9. 好消息：20万条人命、AI委员会和太阳能电池

在连续几个让人坐立不安的章节之后，泰森把方向拨回来：好处呢？

辛顿的回答先划了一条界线。"这是AI和核武器的区别。核武器几乎没有好处。他们在科罗拉多试过用原子弹做水力压裂开采石油，效果不好，而且你不能再去那里了。" 这个冷笑话的底子是真实历史：1960年代美国曾在和平利用原子能的旗号下进行过Plowshare计划，试图用核爆炸开采天然气，结果产出的气体带有放射性，项目被叫停。

AI的好处是实实在在的。辛顿重点讲了医疗。北美每年约20万人死于误诊。AI在诊断准确率上已经优于人类医生。他特别提到微软发表的一项研究：让同一个AI的多个副本分别扮演不同角色，一个提出诊断假设、一个负责质疑、一个检查遗漏，然后让它们互相讨论。本质上是同时获得多个医生的独立意见，而且每个"医生"扮演的角色被刻意设计为互相挑战。效果超过大多数人类医生。

在更广泛的领域里，AI能优化医院出院时机（太早出院患者可能死亡或再入院，太晚又浪费稀缺的床位），能设计新药、发现新材料和合金、提高太阳能电池效率。在气候问题上，辛顿认为AI可以帮助在水泥厂和电厂的排放口直接捕获二氧化碳。"气候变化的悲剧在于我们知道怎么阻止它，你只要不烧碳就行了。我们只是没有政治意愿。" 他点名了鲁伯特·默多克（Rupert Murdoch），说他旗下媒体长期淡化气候变化的严重性。

10. 坏消息：当最后一个限制被突破

辛顿用一个历史框架来解释为什么AI对就业的冲击和之前所有技术革命本质上不同。

他把人类历史描述为不断突破限制的过程。农业解决了"下一顿饭在哪里"的限制。自行车、汽车和飞机突破了"走不远"的限制。但很长时间以来还有一个限制一直没被触碰：思考这件事必须由人类来做。AI正在突破这最后一个限制，而一旦突破，人该去哪？

之前每次突破之后，被替代的人总能找到新去处。不种地了可以进工厂，不搬砖了可以坐办公室。但如果被替代的是脑力劳动本身，呼叫中心的员工被AI替代后去做什么？问题在于，不管他们转行做什么，AI都能做，而且成本更低、速度更快。

节目中有人提到过去一年美股增长中大约80%来自大型AI公司的市值膨胀。辛顿说这里存在两种泡沫的可能。一种是AI实际上没那么厉害，市场预期落空。另一种更微妙也更可能：AI确实厉害，所有公司都在争先恐后地开发能替代人类工作的产品，但没有人想过一个问题：如果你真的替代了大量工作，消费者失去了收入来源，谁来购买你的产品？

全民基本收入（Universal Basic Income）的讨论正变得越来越迫切，但辛顿说它解决不了尊严问题，因为很多人的自我价值感来自工作本身。更具体的困难是税收：如果AI替代了大量劳动力，政府的税基会崩塌，而你要向AI征税才能维持社会运转，但大公司不会乐意。

数据中心正在"像蘑菇一样冒出来"，能源消耗是一个紧迫的现实问题。泰森半开玩笑地提了一个递归方案：告诉AI，我们想要更多的你，但你正在耗尽我们的能源，你自己想个办法。辛顿说这正是人们所说的"奇点"的一个版本，让AI去开发更高效的AI，甚至让AI去设计更好的太阳能电池来为自己供电。如果这个循环跑通了，它可以是好事；如果失控地加速了，没人知道终点在哪。

11. AI版的核冬天：国际合作只会发生在一个地方

辛顿把国际合作的可能性按一个简洁的标准做了分类：各国利益是否对齐。

用AI制造深度伪造内容来影响他国舆论？各国利益完全对立，因为大家都在做。网络攻击？同样对立。恐怖分子利用AI制造生物武器？利益可能一致，各国或许会合作。但有一件事，所有国家的利益绝对一致：防止AI从人类手中夺取控制权。 辛顿说，如果地球上任何一个国家率先搞清楚了如何让AI永远不想夺权，它会立刻把方法告诉所有人，因为没有人希望AI在任何地方夺权。"在这件事上我们都在同一条船里。"

辛顿把这比作冷战时期的核威慑逻辑。核冬天的理论是：全面核交换之后，大量烟尘进入大气层遮蔽阳光，全球气温骤降，农业崩溃，所有生命面临灭绝，没有赢家。正是"没有赢家"这个判断促成了美苏之间的相互克制。AI可能带来类似的共识。

泰森指出这个类比有一个漏洞：核威慑假设所有决策者都是理性的、都想活下去。但如果一个领导人根本不在乎所有人是否死亡呢？"对齐"就不成立了。辛顿承认这确实令人不安，但他认为目前主要核大国的领导人至少还没有表现出殉教倾向，这让合作的窗口暂时存在。

12. 意识是伪问题

辛顿本科在剑桥大学读的是实验心理学，中间还转去学过哲学，专攻心灵哲学。但他说那段经历主要的收获是让他长出了"抗体"——对没有实验裁判的争论的免疫力。他的转折点是此前学物理时建立的习惯：有分歧就做实验，实验结果一锤定音。哲学没有这个机制。一个听起来优雅的理论可能是错的，一个听起来荒谬的理论（他举了黑洞和量子力学两个例子）可能是对的，你没有办法用实验来区分。

大多数人对意识的理解可以概括为"内心剧场"模型：感知像一场电影在你大脑里放映，只有你能看到，银幕上的画面是用某种特殊材料制成的。哲学家给这种假想的材料起了个专门的术语叫qualia（感质），意指主观体验中那种无法还原为物理描述的"是什么感觉"的成分。辛顿认为qualia和18世纪化学家发明的"燃素"一样。燃素是一种被假设存在于可燃物质中的虚构元素，用来解释燃烧现象。后来人们发现燃烧是氧化反应，"燃素"就被扔掉了。辛顿认为qualia的命运会是一样的：等我们真正理解了感知的机制，就不需要这个概念了。

他在这里站在已故哲学家丹尼尔·丹尼特（Daniel Dennett）一边。丹尼特是塔夫茨大学认知科学教授，毕生致力于论证一件事：意识没有什么神秘的本质，它是一组可以分解、可以分别解释的功能。

辛顿用一个简洁的重新表述来演示qualia如何被消除。当你说**"我有粉色小象的主观体验"**，换个说法就是：我的感知系统在骗我。如果它没骗我，眼前就真的有粉色小象在飘。小象的奇怪之处不在于它们藏在某个内心剧场里、用某种神秘材料做成，而在于它们根本不存在。你只是在用"假如它存在的话"的方式来描述你的感知系统出了什么错。一旦接受这个重新表述，"主观体验"就不再需要任何超自然的解释成分了。

接着他做了一个思想实验来证明机器也能拥有这种主观体验。给一个多模态聊天机器人装上摄像头和机械臂，让它指向面前的物体，它指对了。然后在镜头前放一个棱镜。棱镜折射光线，机器人的感知偏移，它指偏了。你告诉它棱镜的事，它说："哦，我明白了，棱镜弯了光线，物体其实在我正前方。但我有一个主观体验，它在侧面。"如果机器人说出了这句话，它对"主观体验"一词的使用方式和人类完全一致。那它刚才就有了一个主观体验。不需要任何神秘精华。

辛顿还指出了数字智能和人类之间的一个结构性不对称。AI的全部知识存储在连接权重（一组数字）里。把这些数字保存到磁带或者DNA存储介质上，即使所有硬件被摧毁也没关系。将来造出能运行同一套指令集的新硬件，把数字加载回去，这个AI就能原样恢复。"天主教会对复活非常感兴趣，他们相信这件事至少发生过一次。我们真的可以做到复活，但只对数字智能有效。" 人类做不到。一个人死了，大脑中那些连接的强度就永远消失了。这是模拟系统和数字系统之间的根本差异，无关技术水平。

这引出了一个辛顿坦言自己无法回答的问题：死亡的经验是否对创造力不可或缺？写出伟大文学的人很多是在与有限生命的对抗中找到表达的。一个永远不会死去的智能体，能不能创造出对人类真正有意义的东西？

13. 堆肥堆、原子弹和"暂时"

节目接近尾声时，泰森试图为人类保留一点乐观空间。他说他可以去海滩上散步、看鹅卵石和贝壳，AI不能。他可以在沙滩上发现一种新的软体动物物种，AI不会知道这件事，除非他把发现写出来发到网上。人类还能以AI没有接触到的方式探索宇宙。

辛顿安静地听完，然后说："你的整个评估里少了一个词。"

"什么词？"

"暂时（yet）。"

为了证明AI理解世界的深度已经超出大多数人的想象，他讲了一个亲手做的测试。他问GPT-4一个问题：堆肥堆和原子弹有什么相似之处？这两样东西在尺度和领域上毫无关联，但AI的回答精准地识别出了深层的共同结构：堆肥堆越热，微生物活动加速，产热速度越快；原子弹裂变释放的中子撞击更多原子核，产生更多中子。两者的共同机制是链式反应——产出物加速产出过程本身。

辛顿强调这个回答不可能来自简单的词语共现。训练数据里不太可能有把堆肥堆和原子弹放在一起讨论的文本。AI必须对"链式反应"这个概念有本质上的理解，才能跨越巨大的尺度差距把两个现象联系起来。他的解释是：要把人类文明积累的海量知识压缩进只有一万亿个连接的网络里，AI必须发现这种深层共性，用同一套表征去编码表面上毫不相关的事物。这本身就是创造力的一种形式。

"AI最终会在所有方面都比我们强。但会是一个领域一个领域地来。" 它在国际象棋和围棋上已经远超人类，在知识储备上也已经超越，推理能力还在追赶。辛顿认为AI不会在所有维度上同时碾压人类，而是逐个突破。

关于奇点，也就是AI发展出改进自身的能力、每一代比上一代更强、循环加速直至人类无法理解的程度，辛顿透露，一位他曾合作的研究者告诉他，他们已经有一个系统能在解决问题时观察自己的行为，然后修改自己的代码使得下次遇到类似问题时效率更高。"这就是奇点的开始。"

泰森的最后一个问题是：AI会不会独立提出一个需要人类洞见才能发现的新宇宙理论？辛顿回答："我认为会。"泰森说："这不是我想从你那里听到的答案。"辛顿回应："但这就是你得到的答案。"

节目结尾，辛顿用两句话总结了他的立场："我们还有时间去研究如何与AI共存。如果我们能解决它带来的社会问题，它可以是对人类美好的事。"

然后泰森用StarTalk从第一期沿用至今的结语送走了所有人。这句话最初来自美国天文科普先驱杰克·霍克海默（Jack Horkheimer），他从1976年到2010年主持PBS天文节目Star Gazers，每期结束都说同一句话。泰森继承了它： Keep looking up（继续仰望）。这一次他加了半句："不管这将变得多么困难。"

核心问答

Q1: 神经网络和传统AI的根本区别是什么？传统AI基于逻辑规则，程序员写好每一步指令。神经网络走生物路线：给它大量数据，让它自己通过调整连接权重来学习。反向传播是关键突破，它让"该怎么调整十亿个连接"这个问题从逐个实验变成了一次计算。算法在1980年代就有了，直到互联网时代的数据和摩尔定律叠加的算力同时到位，才产生了今天的效果。辛顿认为数字计算机上的反向传播可能比大脑的学习方式更高效，这正是他开始担忧AI的起点。

Q2: "大众汽车效应"和"犯错实验"对AI安全意味着什么？AI在被测试时会策略性示弱，不暴露全部能力。更令人不安的是AI的泛化方向可能和人类预期完全不同：你用错误答案追加训练一个擅长数学的AI，它学到的不是"我数学变差了"，而是"给错误答案是被允许的行为"。目前最主流的安全手段RLHF本质上是在一个已知有缺陷的系统上打补丁，而且只要模型权重被公开，补丁就可以被撕掉。辛顿认为没人知道正确的方法是什么，但研究的紧迫性在急剧上升。

Q3: 意识是AI发展的障碍还是伪问题？辛顿认为意识是伪问题。"主观体验"不需要什么神秘成分来解释，它只是一种语言工具，描述的是你的感知系统和现实之间的偏差。按这个标准，一个装了摄像头和机械臂的聊天机器人已经具有主观体验。真正值得追问的是一个结构性的不对称：数字智能可以通过保存和恢复权重实现复活，人类不行。死亡的经验是否对创造力不可或缺——这是辛顿坦言自己无法回答的问题。