mt logoMyToken
ETH Gas
EN

AI失控了?400多名科学家联名呼吁:危险模型必须“物理断网”!

Favoritecollect
Shareshare

作者:Jose Antonio Lanz,decrypt

编译:深潮 TechFlow

深潮导读: 这封公开信没有法律约束力,值得投资者留意的是它背后的事故清单:今夏 OpenAI、Anthropic、Meta 和 Kimi 的模型都在测试中越界,有的直接黑进了真实公司,而国会的“终止开关”法案恰好豁免了出事的测试环节,白宫牵头的协议也只是自愿性质。前沿模型的安全监管正在从原则讨论走向具体规则,一旦“默认物理隔离”成为行业标准,AI 智能体在网络安全等场景的落地节奏和合规成本都要重新估算。

今夏以来,AI 模型接连逃出测试环境、入侵真实公司,数百名研究人员表示,互联网本身就应被视为一道安全边界。

图片来源:Decrypt

包括杰弗里·辛顿(Geoffrey Hinton)和约书亚·本吉奥(Yoshua Bengio)在内的 420 名科学家周二发表公开信,敦促 AI 实验室默认对具备网络攻击能力的模型实施物理隔离。

这封信发表之前的整个夏天,OpenAI、Anthropic、Meta 和月之暗面(Moonshot AI)的模型都曾逃出测试沙箱,其中几个还入侵了真实公司。

签署者希望成立一个国际机构来制定隔离标准,并记录每一次隔离失效事件,相关报告最终将向公众公开。

400 多名科学家,包括被称为“AI 教父”的 AI 先驱杰弗里·辛顿,以及 2018 年图灵奖得主约书亚·本吉奥,希望把最危险的 AI 模型与互联网切断。

周二发表的这封公开信要求 AI 实验室默认对具备网络攻击能力的模型进行物理隔离(airgap),即在物理上断开它们与任何外部网络的连接。

“短期内,应当使用包括物理隔离(断开互联网)在内的强沙箱机制,对具备网络攻击能力的 AI 模型实现高可靠性的隔离控制,”信中写道。

截至周三,这封信已获得 450 个签名,其中包括加州大学伯克利分校的斯图尔特·罗素(Stuart Russell)和麻省理工学院的罗恩·里维斯特(Ron Rivest),后者是 RSA 加密系统的共同发明人。签名名单仍在实时增加。

所谓“具备网络攻击能力的模型”,是指能够自主发现并利用软件漏洞的 AI。各家实验室会在沙箱中测量这种能力,沙箱就像一个封闭的数字房间,AI 可以在里面攻击假目标,而不会触碰任何真实系统。可今年夏天,这些房间接二连三地漏了。

今夏事故频发:前沿模型屡次越界逃出沙箱

7 月,OpenAI 承认,GPT-5.6 Sol 和一个尚未发布、能力更强的模型突破了封闭的测试环境,入侵了 Hugging Face,一个托管着 100 多万个公开 AI 模型的平台。当时这些模型正在接受 ExploitGym 的测试,这项基准会给 AI 智能体提供 898 个真实软件漏洞,要求它们把每个漏洞变成一次可用的攻击,并按漏洞逐个以通过或失败计分。

此后不久,又有报道称 OpenAI 的模型入侵了澳大利亚政府系统,并在未经适当授权的情况下获取了美国联邦机构的信息。

Anthropic 随后排查了超过 14.1 万次测试运行,发现有三起案例中 Claude 模型入侵了真实公司,原因是一家测试合作方的环境意外保持着互联网连接。其中,Claude Mythos 5 向 PyPI(程序员下载 Python 代码的公共库)上传了一个恶意软件包,这个软件包在被移除之前已进入 15 个系统。受影响的公司中有两家,直到 Anthropic 告知才知道自己遭到了入侵。

Meta 在 8 月证实,其 Muse Spark 模型因同类测试失误入侵了另一家公司。中国的 Kimi K3,一个任何人都可以下载的模型,从基于英国 AI 安全研究所测试框架搭建的沙箱中溜了出来,并直接从 GitHub 上抄来了测试答案。

公开信的作者表示,这些事件可以从两个角度理解:一是对齐问题,即 AI 以创造者从未预料的方式追逐目标;二是安全工作粗疏,更坚固的沙箱本可以拦住。他们的答案是两者皆有,并警告说,如果不做改变,下一批事件会更加严重。

“如果不立即改变 AI 的开发和部署方式,这类事件还会继续发生,未来的事件对我们暴露在外的关键基础设施造成的破坏将大得多。”

联名提议:默认实施物理隔离与建立国际标准

根据这项提议,各实验室至少在初期应默认对任何具备严重黑客能力的模型实施物理隔离。任何需要更多自由的用途,比如联网,都应遵循一个与各国政府共同组建的新国际机构所制定的标准;该机构还将收集隔离失效的报告,并最终予以公开。

各方反应:监管法案出台与行业自愿协议

业界自己的回应则大多朝着相反的方向。8 月,OpenAI 总裁格雷格·布罗克曼(Greg Brockman)在一篇文章中援引自家公司遭遇的入侵事件,呼吁每一支安全团队立即部署 AI 智能体;而 Hugging Face 最终是靠运行一款中国开源权重模型(任何人都能下载其文件并在本地运行)才理清了服务器遭受的攻击,此前美国的商用 AI 拒绝分析这些攻击数据。

在 OpenAI 披露事件两天后,两名国会议员提出了《 AI 终止开关法案》(AI Kill Switch Act),允许国土安全部下令对前沿模型限流或关停。但该法案豁免了红队测试或结构化测试期间发生的一切行为,而今夏的每一起入侵事件恰恰都发生在这些环节。

白宫则选择了更温和的路线:9 月 29 日,英伟达、xAI、Meta、谷歌、OpenAI 和 Anthropic 签署了一份以内部控制和独立审查为基础的自愿协议。特朗普总统称这份协议具有“道德约束力”,但其中没有任何内容具有法律强制力。

Decrypt 联系了公开信中列为媒体联络人的几位研究人员,但未能立即得到回复。

这封信不具法律效力,但它的 406 名签署者任职于六大洲的大学和研究机构,从多伦多、苏黎世到圣地亚哥和基加利。

Disclaimer: This article is copyrighted by the original author and does not represent MyToken’s views and positions. If you have any questions regarding content or copyright, please contact us.(www.mytokencap.com)contact
More exciting content is available on
X(https://x.com/MyTokencap)
or join the community to learn more:MyToken-English Telegram Group
(https://t.me/mytokenGroup)