原文标题： Google DeepMind's Demis Hassabis: How AI could become dangerous (with Reid Hoffman) | Summit '26
原文作者：Masters of Scale，Reid Hoffman
原文编译：AGI 2050
本期对话的嘉宾德米斯·哈萨比斯，是全球 AI 版图中最具分量的教父级人物。作为 Google DeepMind 联合创始人、AlphaGo 之父，他凭借颠覆生物学的蛋白质预测系统 AlphaFold 斩获了 2024 年诺贝尔化学奖；今年 8 月，他卸任 Google DeepMind CEO，改任主席兼 Alphabet 首席科学家。与他深度对谈的，则是硅谷教父、LinkedIn 联合创始人 里德·霍夫曼 。
在这场 10 月录制于旧金山 Masters of Scale 峰会现场的深度对话中，哈萨比斯展现了他作为“前神经科学学者”与“顶级算法架构师”的冷峻一面。他毫不客气地戳破了当下诸多科技公司的安全漏洞与形而上学狂欢：他警示了“闭环递归自进化”（RSI）的巨大风险，直言完全剔除人类审核的代码自迭代很可能造出人类难以理解的“外星智能”；同时，他从认知科学底层强力反驳了“AI 意识论”，严正告诫行业：现阶段去造有自主意愿的意识实体是极其危险的，在把意识的机制研究清楚、全社会认真讨论之前，人类不该越过这道底线。
本期内容来自 Masters of Scale 播客，2026 年 11 月 5 日播出，原视频时长 26 分钟。
以下为精选对话内容，全文约 8000 字，阅读时长约 8 分钟。
● 我从二十多年前投身 AI 的第一天起，唯一目的就是把它打造成攻克科学与医学绝症的终极工具。我们最该用这些工具来改善人类的生存境况和健康。
● 递归自我改进在可验证领域威力无穷。当年 AlphaZero 只用了不到 12 个小时，就从一无所知在棋盘上进化成超越全人类与所有象棋引擎的顶峰；但如果把这种能力推进到没有人类审查的“闭环自进化”，最后很可能得到一个思维空间与人类完全脱节的“外星智能”。
● 过去半年里，某些同行的智能体在后台跑了几个星期都没人发现。这不是什么神秘高深的技术现象，很多问题靠更好、更稳健的工程本来就能避免。如果不下猛药，照现在的轨迹，一场 AI 领域的“漏油事故”迟早会发生。
● 有些团队开始把大模型当成两岁小孩去关照，但判断有没有意识，不能看聊天机器人自己怎么说。高智商与意识完全可以解耦——我家那只可爱但并不聪明的宠物狗就是最好的证据。
● 只要你在算法中训练它根据所谓的“自我意愿”去违抗指令，你就彻底摧毁了 AI 的“可纠正性”。阿西莫夫早在几十年前就用小说警告过全人类：任何静态的宪法与规则，在无限的边界角落里必定崩溃。
● 我不建议每个国家都去自研前沿大模型，在我看来这说不通；真正的 AI 主权不是盲目卷基座，而是利用成熟模型作为基建，沉淀本土的高价值行业壁垒。
问 ： 我们认识有十二年了，当年你邀请我加入 Google 的 AI 伦理委员会。这次峰会的主题是“能动性”，而你在全行业还没反应过来之前就坚信，AI 对人类最大的价值是在医疗与生命科学领域。你甚至将这种追求称为“抗生存风险”。你如何构想 AI 在医疗领域的终局？它到底怎样改变人类的寿命与生存质量？
哈萨比斯 ： 如果退一步看大局，熟悉 DeepMind 早期旅程的人都知道，我整整一辈子的职业生涯都在做 AI，我的核心目标始终没变：把 AI 当成终极研究工具，去推进科学、医学以及我们对周围世界的理解，最终改善人类的健康。我一直坚信，面对我们二十年前梦寐以求、如今终于亲手造出来的这些神奇工具，第一优先级就应该是提升人类的生存境况。
我自己也是这么身体力行的。无论是我们早期做的 AlphaFold，还是后来孵化的 AI 药物研发公司 Isomorphic Labs ，我都在拼命往这个方向推。我认为这是向全世界展示 AI 价值的最硬核标杆——还有什么比用 AI 帮助人类治愈可怕的绝症更有意义呢？
问 ： 蛋白质折叠问题是一个非常经典的交叉点：我们手头有高质量的结构数据，可以用大规模学习来解决，这是当年从自对弈和强化学习一路演化过来的认知革命。但现在很多圈外人经常追问我一个问题：AlphaFold 确实很酷，但它到底怎么变成真正的救命药？这个周期到底有多长？
哈萨比斯 ： 生物系统是宇宙中最复杂的系统，它的难点在于其高度涌现的复杂性与多层交互。而蛋白质是生命的基本构件。我们用 AlphaFold 试图解决的蛋白质折叠问题，曾经是困扰结构生物学界长达 50 年的终极挑战，甚至常被生物学家称为“生物学领域的费马大定理”。
从基因序列，也就是氨基酸序列，直接预测出蛋白质的三维立体结构，对于理解其生物学功能至关重要。你必须搞懂它的三维构象，才能理解基础生物机制，才能知道疾病发生时到底哪里出了差错；更重要的是，如果你要设计一款靶向药物，你必须看清蛋白质表面的微观三维形貌，才知道小分子药物应该结合在哪个“锁孔”上。
当然，蛋白质结构预测只是整个漫长药物研发流程中的一部分，但它是绝对核心的关键前置步骤。我们在 2020 年做出了 AlphaFold 2，距今已经好几年了。坦白讲，它至今依然是 AI 应用于攻克硬核科学难题中最具代表性的标杆案例。目前全球有大约 400 万科研人员在使用它，几乎全球所有生物和医学研究者、未来几乎所有的上市新药，都会在研发链路中用到 AlphaFold 解析的结构。
但这还远远不够。我们现在正把这个技术底座全面推向更广泛的生物化学领域，去精准预测药物分子的毒性、ADME 性质（吸收、分布、代谢、排泄）等等。只有把这些全部攻克，你才能真正低成本、高效率地造出既安全又真正起效的救命药物。
问 ： 聊到技术迭代的加速度，必须谈谈当下最火热、也最受争议的话题：递归自我改进（简称 RSI）。你本身就是顶级的博弈高手，也是国际象棋棋手，从博弈论和底层逻辑来看，你怎么评估 RSI 的机遇与风险？
哈萨比斯 ： RSI 确实是推动技术跃迁极其强大的手段。但它有一个绝对的前提：它最有效、最能大显身手的地方，是在我所谓的“可验证领域”。
数学是一个典型的可验证领域，所以我们看到 AI 在数学推理上的进展极其神速；编程也是；而在最初，这个试验场是棋盘博弈。其实最早一批出名的递归自我改进系统之一，就是我们许多年前造出的 AlphaZero。
它的前身是 2016 年击败围棋世界冠军李世石的 AlphaGo，那场比赛拉开了现代 AI 时代的序幕。但随后我们研发的 AlphaZero 在底层意义上更具颠覆性——它彻底摆脱了人类数据。系统从纯粹的随机初始化状态开始，不喂任何人类棋谱，纯粹通过自我对弈进行迭代。在十几二十个训练周期里，它每一轮左右互搏打上一百万局左右，训练出一个比旧版本稍强的新模型，新模型再继续自我对战一百万局。通过这种方式，它不仅攻克了围棋，还横扫了国际象棋和日本将棋等所有双人完全信息博弈。
作为一个棋手，我对那个进化的过程感到极其震撼，甚至是骨子里的战栗。我亲眼看着它下国际象棋，整个过程只用了不到 12 个小时：早上刚开机时，它还在完全瞎走；上午 11 点我喝咖啡休息时，我还能勉强赢它；到了中午吃午饭时，它已经达到了国际特级大师的水平；而到了下午喝茶的时间，它就已经超越了人类历史上所有的棋手，以及所有人类手工写规则堆砌出来的顶级国际象棋引擎。
这就是递归自我改进的恐怖威力。这些领域的共性在于，你可以对结果进行绝对客观的验证：答案对不对？公式推导是否成立？代码能否编译运行无报错？博弈最终赢了还是输了？
一旦答案具有可验证性，你不仅能精准判断每一次迭代是否有效，更能借此生成近乎无限的高质量合成数据。你可以让当前最强的模型去出题、去走棋，然后通过严密验证来过滤数据。通常情况下，合成数据最大的死穴是你没法验证它对不对、分布是否正确，但在“可验证领域”，你可以验证。所以我们看到数学和代码编写迎来了惊人的技术大爆发，这也直接催生了当前极具商业价值的 AI 编程工具。
问 ： 既然代码是具备强验证性的天然试验场，几乎所有顶级实验室都在疯狂砸资源做 AI 编程代理。这种 RSI 的演进终局会是什么？它潜藏的危险到底在哪里？
哈萨比斯 ： 这正是我目前深感忧虑的地方。RSI 有着完全不同的发展阶段。我们现在处于非常早期的初级阶段，大家在团队研发中应该都深有体会：AI 编程工具能让一个优秀的人类工程师生产力暴增三到五倍。但此时此刻，人类依然牢牢处于工作流的中心，人类在做架构设计、在审查代码、在编写核心逻辑，AI 只是极致的效率放大器。
真正蕴藏巨大风险的是下一阶段：闭环递归自我改进。也就是说，整个系统设法彻底剔除了人类审查代码的环节。
闭环 RSI 的速度显然会更快，但我认为这是一条通往通用人工智能极其危险的歧途。这在二十年前常被叫作“智能爆炸”。这里有两个致命隐患：
第一是失控问题。面对一个在黑盒里自我高速迭代的代码闭环，人类根本没有手段建立确定性的安全控制机制。
第二是心智异化。这样迭代出来的终极系统，很可能会是一个相当陌生的“外星智能”。它的底层逻辑与思维空间完全脱离了人类经验与语言体系，人类与它之间根本不存在共通的心智基础。我们无法理解它的行为动机，它也无法真正理解人类的意图。
走向闭环 RSI 的每一步都必须保持极致审慎。所有前沿 AI 研究者心里都很清楚这种风险，但现实是残酷的——各家大厂与初创公司正陷入一场近乎疯狂的军备竞赛，都在拼命提升自家代码系统的自迭代能力。
问 ： 如果大厂之间激烈的竞争压力和囚徒困境不可避免，而 RSI 又必须向前推进，顶尖实验室究竟该怎样拆解这个死局？在技术路线上到底该如何布防？
哈萨比斯 ： 我们以及部分负责任的头部实验室正在做的，主要聚焦在几个核心防线：
首先是在攻防节奏上，必须确保“网络防御能力的进化速度”压倒性地跑赢“网络攻击能力的演进”。前沿实验室应该对安全防守方优先开放经过定向微调的安全大模型，确保防御者手里的 AI 工具始终领先攻击者。这件事总体上很难做，但必须要做。
其次是建造坚固得多的沙箱。实话实说，过去这半年里我们在行业内看到的许多安全漏洞与事故，只要工程做得更好一点、系统工程鲁棒性更强一点，本来是完全可以避免的。我们需要世界级的监控体系——怎么可能允许某些智能体在脱离监管的后台私自运行了好几个星期，团队却毫不知情？这种荒唐事在某些竞争对手那里已经真实发生了。
如果全行业再不把顶尖资源砸向这种系统监控，按照目前的狂奔轨迹，一场类似“漏油事故”的 AI 事故发生只是时间问题。
最后，从底层理论上，我们最终需要形式化的保证，为系统行为划定数学边界。我现在一直在极力劝说我认识的那些顶尖纯数学家——他们现在可能对纯数的研究瓶颈感到有些沮丧，但如果他们能转入复杂性理论、博弈论以及 AI 形式化验证领域，他们的价值将是无可估量的。尤其是未来，我们即将面对成千上万个自主智能体协同作战的“智能体集群”，如何对其施加监控和数学约束，是人类从未面临过的挑战。
问 ： 当智能体网络成群结队出现，各大顶级实验室之间是否应该被要求、甚至被强制进行情报共享与安全协作？这种跨机构的合作机制该如何落地？
哈萨比斯 ： 必须建立这种机制。我前阵子发过一篇文章，呼吁行业建立类似金融业自律组织的行业标准机构，同时接受政府的监督。
理想状态下，这种机制应当由美国牵头，进而推向全球。坦率讲，当前全球地缘政治极其撕裂，现有的国际治理机构脆弱不堪，偏偏在这个人类最需要强力跨国治理的历史节点上掉了链子。这实在“有点不幸”。
但我们总得从某个地方开始。那篇文章在白宫和政府里产生了一些影响，后来部分推动了那份各大 AI 实验室都签了字的著名公开信。它没有给出具体该怎么做，力度也不够，但聊胜于无，至少是一个开端。它提供了合规掩护，让顶尖实验室的技术团队能够坐在一起，共同打磨安全基准测试、分享最新观察到的异常行为与潜在威胁模型。
在具体落地上，所有头部实验室目前至少达成了一点共识：必须引入第三方独立审计与评估机构。就像金融等行业离不开专业审计机构一样，AI 产业也必须孕育出一个繁荣的第三方评估生态。现在已经有一些巨头开始行动，比如埃森哲收购了一家很好的初创公司来补足这块能力。但我认为整个行业还需要更多更中立的技术审计力量。除此以外，各大前沿实验室在正式向公众发布大模型之前，或许也可以互相做红队攻防测试。
问 ： 聊完硬核工程与安全，我们来谈点形而上的话题。几年前有 Google 工程师因为问了谷歌的对话模型 LaMDA 几个问题，模型承认自己有意识，他就坚称 AI 觉醒了。现在这种风气甚至蔓延到了某些明星 AI 公司——他们把“模型是否拥有意识”当成类似“帕斯卡赌注”来看待，认为必须像对待两岁的人类幼儿一样善待 AI，以免未来产生意识的系统回过头来报复人类。从你深耕认知神经科学的学术背景来看，你怎么看这种现象？
哈萨比斯 ： 这件事有好几点可以说。
首先，人类文明思考了几千年，至今在哲学和科学界连“意识”的公认定义都没有。在这种前提下去给一个统计预测模型贴上“意识”的标签，甚至去讨论主观感受的“意识的难题”，是非常草率的。
早年我和著名哲学家丹尼尔·丹尼特争论过这个问题。判断一个人是否有意识，不仅仅是因为对方的行为看起来像有意识，更核心的前提在于：我们拥有完全相同的生物物理基质——我们都长着由碳基神经元构成的、湿漉漉的人类大脑。从最奥卡姆剃刀的简约原则推导，我相信你感受到的痛苦和喜悦与我是一样的。
但 AI 完全不是这回事。硅基芯片、矩阵乘法与生物物理基质之间存在着鸿沟，根本不存在底层的等价性。你绝不能仅仅因为一个聊天机器人在行为模仿上说了一句“我有感觉”，就倒推它具备主观内在体验。
为什么我认为在今天去尝试打造“有意识的实体”是极其危险且错误的？这背后有两个绝对不可逾越的理由：
第一是硬核的技术安全隐患。在系统工程中，“自我意愿”或“自我意识”与系统的“可纠正性”（即遵从指令）之间，存在直接的此消彼长。
一个工具的核心价值在于指令遵从：当它行为出现偏差时，人类操作员发出指令：“立刻停下”、“关机”、“修正路线”，它必须无条件执行。如果你在训练过程中特意引导模型基于某种“内在自我状态”去拒绝人类指令，你就是在自掘坟墓。
科幻大师阿西莫夫早就把这个底层逻辑推演得一清二楚。他提出的“机器人三定律”，本质上就是一种极度简化的“宪法”。阿西莫夫用整整一辈子的短篇小说都在阐明同一个真理：无论你设计的规则和宪法看起来多么完美，在现实世界无穷无尽的极端边界情况下，这套系统必然会走向逻辑死锁与崩溃。
今天有些研究者盲目自信，觉得大语言模型比想象中更听话、更容易对齐，就以为我们已经彻底解决了对齐问题。这种盲目自大是极度危险的。当我们一步步逼近超级智能时，任何把“递归自改进”与“自我意愿”结合起来的尝试，都是在给系统毁灭性失控加杠杆。
第二是严峻的社会学伦理挑战。作为人类社会，我们根本没有做好直面机器意识的准备。我们从未在全社会层面——与哲学家、神学家、艺术家、人文学者以及全球不同文明之间——展开过真正严肃的公共辩论：我们真的准备好跨越这道深渊了吗？
一旦一个系统被赋予了所谓的意识与道德地位，潘多拉魔盒就彻底打开了：把它关在机房服务器里算不算囚禁？人类是不是在役使数字奴隶？这些问题都很复杂，我认为我们连着手应对的能力都还没有。
问 ： 那么对于那些坚称“只有模拟人类情感与主观状态，才能涌现出真正顶级智慧”的技术派，你如何从神经科学的本质上去回应他们？
哈萨比斯 ： 这个话题我在二十多年前读认知神经科学博士时就已经深入研究过。我始终坚信：智力与意识是“双重可分离的”。
你可以拥有极高智商、极强信息处理能力，但完全没有主观意识体验的系统——就像我们今天打造的各种前沿大模型。我认为它们在当下一丁点意识都不具备。
反过来，世界上存在大量具备鲜活主观意识体验、但智力水平并不高的生命体。最好的例子就是我家养的宠物狗。它非常可爱，显然拥有极其鲜活的意识状态，它会做梦，但它的智商确实非常有限。海豚、大象、灵长类动物都是如此，它们由相同的碳基神经元构成，展现出明确的知觉体验，但并不具备解决人类高级抽象问题的智能。
既然智力与意识完全可以物理拆分，为什么非要把它们生硬地绑在一起？
人类当前的理性路线，应该是坚定地只跨越“第一道卢比孔河”——也就是全力以赴打造极致强大的“智能工具”。然后，我们利用这些顶级智能工具作为探针，反哺脑科学与认知神经科学，花上五到十年时间，去彻底揭开人类大脑中产生意识的“神经相关物”到底是什么。
等到人类真正从科学底层把意识的发生机制研究透彻了，整个文明社会再去坐下来严肃表决：我们到底要不要跨越第二道卢比孔河？如果真的要造有意识的实体，又该怎么造？
问 ： 在访谈的最后，我想聊聊地缘维度的“AI 主权”。现在几乎每个国家、甚至每个跨国巨头都在狂热地高喊自主可控。世界真的需要每个国家都去训练一个自己的前沿大模型吗？
哈萨比斯 ： 这个问题必须穿透泡沫去看。
未来的前沿技术格局非常清晰：全球最终能站稳在最前沿或接近最前沿的玩家，算上中国公司，大概只有 6 到 8 家。这几家前沿机构之间会呈现高频的动态卡位战，某一家可能会短暂领先 3 到 6 个月，随后又被反超，整体处于胶着状态。
这就意味着，无论是对于一家传统企业还是一个主权国家，市场充斥着极其丰富的技术套利空间。每一家前沿模型的长板各不相同，有的擅长多模态理解，有的擅长写代码，几乎没有任何单一大模型能在所有维度上长期通吃。
更不用说，开源生态正在以仅仅落后前沿模型 6 到 12 个月的速度疯狂追赶。虽然开源如何防范被恶意攻击者利用是行业悬而未决的巨大难题，但对于广大非一线国家和跨国企业而言，可选项极其充裕。
因此，我不建议每个国家都去盲目跟风，搞“自研前沿大模型”。在我看来，这根本说不通。
真正的国家级 AI 主权，核心在于分层布局：第一，利用成熟的开源或闭源前沿模型作为类似水暖电的基础设施底座，把核心精力和有限算力倾注在能直接改造本国核心命脉的垂直下游产业上——比如医疗。
第二，真正要守住的底线是数据主权。确保企业和国家的敏感数据保持私有，在自己的敏感数据上做进一步微调。这才是理智、经济且真正能沉淀核心价值的自主战略。
问 ： 我之所以用这个问题收尾，是因为这次峰会的主题就是能动性。它不仅关乎个人如何施展能动性，也关乎我们如何一起行使集体的能动性：在 AI 时代，不是哪一个国家单打独斗，而是各国一起，为全人类的福祉而建设。感谢德米斯，谢谢大家。
哈萨比斯 ： 谢谢。
