作者： bayes
编译：Felix, PANews
围绕 AI 算法的指数级跃迁、智能供应链的商品化以及机器人的爆发，本文系统梳理了关于近期未来的 46 个核心洞察。
智能
1.人们会对算法的进步感到措手不及。 整个世界，包括市场、政府、军队、公司、个人等，都在试图用最近过去的生产效率和规律，以及事情的发展趋势，去理解 AI 及其影响。甚至几个自称深信“RSI（递归自我改进）”的创新实验室似乎也认为，这将是一如既往的商业模式，只是加入了智能体（Agent）。个人的猜测是， 在智能生产方面，算法还有许多个数量级 (OOMs) 的进步空间，也许（仅仅是也许）多达 10 个，但 4 到 7 个似乎更符合现实。 理论上，超过十个也是有可能的。如果这是真的，那么事情实际上并没有像表面看起来那样发展，一个巨大的飞跃即将到来。沿着这条路线发生的任何事情，都会让事情变得比几乎任何人预期的都要诡异得多。
2.我们正处于起飞的早期阶段 。AI 改进 AI 最终可能成为历史上最具影响力的里程碑之一。这一点尚不确定，因为我们不知道距离智能的物理和计算极限还有多远。
3.如今，我们正处于起飞阶段，算法研究正在加速发展。 计算资源仍然稀缺，但研究人员的时间机会成本更低，因为你可以派遣智能体执行任何任务或看似徒劳的探索。 它或许会有所收获。所有新想法都带有优化债务，而现在可以通过无监督的 Token 消耗来偿还。大量的研究扩展定律曲线将被跨越。
4.AI 模型，尤其是前沿模型，将会不断改进。唯一真正的壁垒是物理学。 模型变得越来越自主、越来越聪明，并且时刻都在进步。数学和代码正在被“规模 + 强化学习”攻克，接下来就是其他所有领域。“可验证”与“不可验证”作为一种有意义的区分将会淡化。随着时间的推移，自动化的 AI 研究和 AI 学习看起来将越来越相关。训练模型与模型整体学习效果密切相关。样本效率、创造力以及所有其他限制都将被解决，然后开始在任何规模上接近算法最优。
5.认为长周期智能体总是需要同等长周期训练的观点是错误的，因为时间上的泛化是存在的。 长任务并非仅仅由时间长短构成。这与 LeCun 关于 (1-e)^n 误差累积的谬误有关。实际上发生的是纠错。这发生在从单个 Token 生成级别一直到长任务步骤的多个尺度上。METR 图表上升的部分原因是，智能体正在开始达到纠错的逃逸速度。
6.深度学习的工程级科学即将到来。 这将推动我们以远超预期的速度实现 AI 算法的成熟，尽管正如上面提到的，即使在理论上，这种成熟度究竟能达到什么程度也尚不明确。例如，尺度不变性科学能够显著提升有效实验的规模和收益，因为在单个 GPU 上进行的实验就能告诉你如何使用十万个 GPU。
7.在人类技术活动的每个领域，都会出现类似“Move 37”的突破时刻，但很快，这些突破时刻就会显得微不足道。所有领域都会如此。
8.算力将继续提升。 如今最好的矩阵乘法机器远未达到 AI 加速器的物理极限。数字硅片还有很大的改进空间。还有很多新的基材候选者，它们所欠的算法债务将被自动化推向极限，但还不知道在空间 / 能源 / 时间 / 可制造性 / 成本方面，哪一个是 AI 的最优解。光子学和随机硅都是有趣的候选者，但也预料奇点将会出人意料。
9.实验室能够取得多大的进展，部分取决于自动化和规模带来的收益，这其中也包括算法深度提升带来的收益。 如果深度学习的实践（和理论）永远停留在浅层，那么从长远来看，护城河主要将不再是算法，因为发现秘密的成本相对较低。最终，蒸馏 + 数据 + 时间可以赶上算力规模，但这个过程可能很慢。到目前为止，这似乎在部分程度上符合我们所处的现状，但即便如此，也无法保证它会继续这样下去。
10.如果随着规模的扩大，事物变得不那么肤浅，那么每一次自动化和规模的提升都会为你带来其他人越来越难以企及的算法秘诀。这似乎也是目前部分处于的情况。无论哪种情况，最终都会达到边际效用回归规模、研究饱和的阶段。不知道这个阶段何时到来。它可能距离今天的位置只有 2 个 OOM，也可能只有 20 个 OOM。没人知道。
智能供应链
1.算力在至少未来几年内将是竞争高度激烈的资源。 但在此期间，它将开始商品化。规模不断扩大并发挥作用，资本也随之而来，推动着智能产业的持续发展。更多的矩阵乘法机器、更多的晶圆厂和更多的能源即将到来。智能生产的瓶颈只是暂时的，即使存在潜在的经济障碍。
2.智能供应链的性质正在发生变化。 目前，它高度集中于实验室。但实验室正在实现其核心优势的自动化：研究人员和算法优势的发现。一旦这种情况开始发生，假设开源软件紧随其后，尤其是在实验室不垄断 AI 研究人员的模型的情况下，实验室的优势将来自于更容易获得的资金、更多的计算资源、特殊的数据、商业关系以及优质的产品。当然，这还取决于上述算法深度问题最终如何解决，以及其他因素。
3.分布式训练将减少对单一数据中心建设的需求，非超大规模数据中心将获得一些优势。不过，就单次最大运行规模而言，它仍无法超越超大规模数据中心。
4.自动化的 AI 实验将能够广泛发现算法的秘密，因为这些秘密自然比大规模训练运行更容易传播。目前尚不清楚这种趋势能发展到什么程度，但预计会发展得相当不错。如上所述，深度学习的基本深度仍然未知，这一点的上限取决于它。
5.尽管这些因素看似对其有利，但由于计算成本和机会成本，学术界和开源社区仍有可能发展停滞。例如，GB300 算力服务器用于 GLM5.2 还是 Fable 更有价值？在学术实验室进行非前沿研究还是在 Anthropic 内部构建 Mythos 2 更有价值？市场最终会找到需求最大的领域，而目前看来，实验室的需求最为旺盛。这意味着，即使开源实验室拥有资金，如果它们尚未锁定计算资源，它们仍可能面临更大的计算资源短缺问题。即便如此，它们也需要权衡研究的机会成本与租用计算资源的成本。
6.在 AI 能力日趋强大的环境下（未来 0-18 个月内），开源在社会层面也可能面临困境，尤其是在加速安全发展方面进展缓慢的情况下（目前确实进展缓慢）。
7.随着资本涌入实验室，开源可能会开始萎缩。这里存在一个协调问题，除了实验室（也许还有政府）之外，没有人希望出现垄断，但如果这个问题能得到解决且监管环境有利，也许情况会有所好转。
机器人技术
1. 机器人技术将迎来类似 ChatGPT 那样的重大突破，以及类似 Opus 4.5 那样的重大突破。 虽然这两个突破尚未发生，但终将到来，而且由于 AI 的快速发展，包括 AI 加速的物理系统工程，其速度将远超人们的预期。这两个机器人技术突破之间的时间间隔很可能不会超过三年。
2.然而， 要真正扩大机器人的全球规模，可能要到 2030 年甚至更晚。 尽管我们每年生产约 1 亿辆汽车，而人形机器人比汽车小得多。考虑到每年还生产 10 亿部智能手机，如果资本和算法能够快速发展，那么到 2030 年，每年生产约 1 亿台机器人似乎是合理的。每年 1000 万台机器人肯定是可以实现的，因为在无人机市场已经实现了这一目标。优秀的软件能够证明小规模人形机器人的价值，从而带来无限的资本，其价值与证明的质量成正比。
3.如今看似机器人发展的硬性限制将会消失，例如低采样效率、相对稀缺的数据、昂贵或复杂的机械手和电机硬件设计、物理世界的复杂分形特征，以及日常生活中未记录的、关于如何做事（例如管道安装）的知识。世界模型看似有用，但具体是什么并不重要。研究的缩放定律（Scaling law ）将被不断推演，直至其效用降低。
4.全球对机器人的需求量轻松达到数百亿台，尤其是在考虑各种外形尺寸的情况下。 有太多体力劳动值得自动化。市场会努力解决这个问题，而人们可能不会阻碍这一进程。
进步
1.科学正在实现自动化和虚拟化。这意味着世界上所需的大部分进步将来自自动化实验室和模拟。当下尚不完全了解虚拟化的计算极限，但这种由机器人驱动的生物学、材料科学等领域的实验室将消除大量瓶颈，并在此过程中不断突破已验证虚拟化的极限，从而提高样本效率和实体化带来的净收益。基本上，在每个领域，都将结合神经网络模型、显式模拟和现实世界实验，共同提高生物学、材料科学等领域的单位时间和单位投入产出比。
2.进步法则无处不在。在深度学习中，它们被称为缩放规律。很难预测任何给定曲线的 S 曲线何时达到饱和，也很难预测新的 S 曲线何时会出现。这里需要理解的是，文明进步的引擎本身就遵循着一条进步规律。我们的进步很可能像我们观察到的大多数自然过程一样，最终达到饱和状态，但实际上并不知道这种情况何时发生。技术和文明的成熟期可能近在眼前，也可能遥不可及。我们正处于这样一个历史阶段：(a) 我们几乎没有投入任何资源来推动进步，但这种情况正在迅速改变；(b) 我们正在自动化直接产出更多改进的机器。我们正处于一个有趣的时代。
3.未来发展方向：向上扩展还是向外扩展？从零到一还是从一到 n？宇宙究竟允许人类在广度和深度上取得多大的进步，这是一个悬而未决的问题。广度更容易估算，因为它类似于“从现在开始，物理定律允许进行多少步骤的计算？”。而计算的“深度”（广义上的深度）则未知。在某些未来版本中，科技树如此深邃，可触及的计算宇宙如此丰富，以至于我们将不断发明、发现、再发明，直到物理定律阻止为止（如果它真的会阻止的话）。而另一些版本则更为平坦；我们很快就能达到较浅的科技树的极限，并相对轻松地实现技术成熟，然后向外扩展，同样直到感到满足或物理定律阻止为止。
资本与生产
1.更多的资本和更高的智能意味着更激进的资本主义，这意味着将更快地达到市场均衡。随着时间的推移，这自然会导致通货紧缩，并使大多数重要商品（包括 AI、食品、住房、药品、电子产品、娱乐和旅游）的竞争趋近于边际成本。当然，前提是不会阻碍这一进程。但在某些情况下，他们很可能会阻碍。
2.采矿业将实现自动化。 陆路、海路和空运都将实现自动化。工厂将实现自动化。工厂工人将实现自动化。配送中心将实现自动化。整个供应链的维护、改进和规模化都将实现自动化。
3.人类将长期拥有工作。 至于届时人类占总人口的比例是多少，目前尚无定论。那些声称这一比例会很高的人过于自信，那些声称这一比例会为零的人也同样如此。很难想象人类还能在知识型工作的知识部分做出多大的贡献。如果每月只需 20 美元就能拥有超人般的 AI 医生，外加按需选择的检查项目，以及通过更先进的医疗技术显著改善的健康状况，那么对某些东西的需求，比如医生，可能会大幅下降。然而，由于现在对医生实行垄断，这种垄断可能会持续下去，医生仍然会是一个不错的职业。对娱乐的需求可能会增加，但制作成本会下降，而且娱乐行业对人类的技术需求已经大幅减少。然而，我们非常关心其他人，所以也许我们会继续关心他们，演员这个职业也会变得更加有利可图。思考这种趋势的一种方式是，从今天的劳动者到消费者，供应链中有多少个中间环节。对于 TikTok 网红来说，中间环节为零。对于医生来说，中间环节也为零。而对于工厂工人来说，中间环节则很多。 一项工作在多大程度上（a）可以被去中介化，或者（b）可以被竞争淘汰，或者（c）具有可替代性，很可能会在很大程度上决定其最终结果。 这项分析相当精妙，这段文字难以详尽阐述，但最后一点需要指出的是，假设我们不会面临需求侧的急剧崩溃。如果太多人失业，而生产力 / 政府效率又不足以支撑全民基本收入 / 全民住房保险，那么需求侧崩溃就可能发生。
4.与上述观点相关但不矛盾的是：“永久性底层阶级”可能真实存在。 在更美好的世界里，如果这种情况确实存在，那么它可能表现为自主权高度受限，而非收入受到严重限制。对大多数人来说，这最终不会造成太大影响，因为我们的自主权在现代社会中已经受到很大限制，但这需要心理上的适应，而这种适应可能需要时间，也可能伴随着痛苦。
文化与心理学
1.人类的心理目前发展和适应速度缓慢，但这终将改变。 关键是要向好的方向改变，这对某些人来说可能并不容易。得益于丰富的智能和自动化技术，我们将构建出比如今这种不适应环境的进化遗留问题更为持久的心理机制。精神病学和心理学领域的创新将在短短几十年内达到千年发展水平。人类的根本状态将得到改善。粗放、退化的心理干预被过分夸大了风险，因为我们将拥有更加精湛、更加多样化的心理工程技术。
2. 在一个充满高度不确定性的世界里，人们将比以往任何时候都更加激烈地追逐权力、地位和财富，并在这一过程中欣然背叛同胞。 他们会编造各种各样的理由来证明自己的行为是好的，甚至是伟大的。看看周围就知道了。
3.在你的有生之年，将会看到一些你难以置信的丑陋行径。
4.现在存在一种显而易见的双标：那些跻身或即将成为 0.01% 最富有的人群声称，AI 将造福所有人，不必担心就业问题等，但他们却表示，一年、五年甚至二十年后，他们都不会放弃自己的财富。人们看穿了这一点，并且已经开始做出回应。需要澄清的是，我也不会放弃我的地位，但我也并非认为一切都会完美无缺（而且我也不是最富有的 0.01% 人群）。因此， 我们面临着构建一个不公正世界的风险。 有些人关心这个问题，我认为应该更频繁地讨论它。而且必须明确的是，美国政界在应对这类问题上做得非常糟糕。
5.马斯克似乎很有可能成为第一个千万亿富翁。 总的来说，不难想象，未来对芯片、机器人和宇宙飞船的需求将会增长 1000 倍，而他很可能能够抓住其中很大一部分市场。
协调
1.社会各层面都需要更好的协调，这一点显而易见。我们目前对更好协调的理解存在一些缺陷和风险，但我们似乎还只是触及了其潜力的冰山一角。
2.至少在 AI 问题上进行某种程度的国际协调可能是个好主意。我们可能需要条约和 GPU 计数。这可以被设计为 (a) 减缓螺旋式上升的敌对军事和政府权力积累，并 (b) 对科学和其他重要进步领域产生最小的影响。我们可能无法实现这一点，因为 GPU 的威力过于强大。我们在核武器上做到了，因为除了疯子，没有人真正想使用核武器。
3.由 AI 实验室协调暂停或放缓 AI 生产的可能性比 2023 年更大。 这里有很多权衡取舍，但暂停的价值在今天比 2023 年略高。当我们拥有自动化研究时（目前只有自动化工程），认为暂停会被浪费的说法就很难成立了。
权力、暴力、安全、自由
1.我们的宇宙可能很脆弱。当前世界可能存在一些自由度，我们无法及时协调控制，同时又无法维持足以维系我们世界真相的治理和自由规范（除非采用全景监狱式的监控）。请注意，在这样的世界中，权力积累是一条滑坡效应。很多这样的世界最终可能会让大多数人陷入困境。如果这不是真的就好了，但它或许是真的。
2.AI 的扩散速度将大于零，无论是否存在各种潜在的速率限制因素。世界上有很多计算机，而浮点运算次数与 AI 的兑换率已降至历史最低点。不要指望一切会停滞不前。
3.永久底层阶级的概念意味着永久上层阶级的存在。 这预设了某些人拥有更多权利，而这些权利往往缺乏正当理由。其根本原因总是隐含的或已实现的、以暴力为支撑的统治。但或许，一个拥有先进 AI 的世界，人类将不再拥有任何正当的统治权，也不再拥有任何公认的、凌驾于其他人类之上的功绩或地位。这或许永远不会完全成为现实，但思考这个问题可能会变得更加重要。
4.机构将面临来自四面八方的转型压力。 通往这一结局的途径有很多，有些打着安全的幌子，有些则是通过温和的权力扩张，其天花板是强大的 AI + 全自动化的军事供应链 + 全自动化的武器。我们需要更好的机构。
5.未来可能会出现很多“零日漏洞”。 在网络、生物、基础设施、神经、模因学、物理学等领域。我们根本不了解在这些领域中，算法深度和一致性所带来的回报，无论是在防御和稳健性方面，还是在破坏方面。对于世界上最聪明的人类来说，核武器的算法深度并非高不可攀。
6.相关提示：科技树中可能存在一些非常糟糕的东西。我们对此一无所知。
7.大规模机器人技术带来的风险，不仅包括网络攻击的新领域和新途径等更为现实的风险，还包括真正的接管和政变风险。我们应该认真对待这些风险，并努力降低它们。
8.相互保证摧毁（MAD）（注：理论假设，两个国家均拥有彻底摧毁对方的核力量，且任何一方遭受攻击后必然以同等或更强力度进行核反击 ）基于 20 世纪和 21 世纪初的技术。我们将在短时间内经历快速的技术变革，其规模可能相当于一千年来的发展。这意味着 MAD 并非必然。这个问题是可以解决的，它并非绝对确定或彻底的颠覆，因为获得决定性优势的容错率非常低，甚至可能根本无法实现。过去有些人曾以一种不太严肃的态度讨论过这个话题，我认为这是错误的，也是不负责任的。这是我们能讨论的最严肃的话题之一。人们对此感到担忧是理所当然的，但我认为现在是时候正视这个问题了。
9.军队、警察以及政府执法的主要机制都将实现自动化，并且比人类更加智能。至于这会带来什么后果，各位自行判断。
10.最后：AI 实验室最终可能会被国有化。 美国的体制似乎并不适合这种做法，但在保守或自由的政治环境下，有很多途径可以实现国有化，而且这些途径似乎并非不可行。原则上，这些实验室似乎可以在后台与军方和情报部门保持协调。联邦政府拥有我们正在讨论的这种单方面权力也极其危险。私营公司拥有这种权力则有所不同，因为它们通常不会直接实施暴力，而且法律也不允许它们这样做。我不太赞成国有化，但这个世界令人困惑，而且显然变得越来越危险。
相关阅读： 但斌最新演讲：AI时代不是泡沫，错失时代的风险比担心短期泡沫更大
