动察 Beating AI 快讯,今年 9 月,曾在 OpenAI 和 Anthropic 从事预训练研究的 Jacob Coxon 辞职,怒斥两家公司正冲向能够自我改进的超级智能,简直是在「拿我们的生命赌博」。这番言论引来美国议员呼吁加强监管,马斯克甚至怀疑他是在配合监管宣传造势。
现在,Coxon 又贴出 Anthropic IPO 路演中的一张图,称这是促使他辞职的重要原因之一。「这张图太疯狂了,没想到他们竟然公开了。」
Anthropic 原本用这张图展示自己的技术优势:随着算法不断改进,训练出同等代码能力的模型,所需算力越来越少。
但 Coxon 注意到,图中的纵轴已经采用对数刻度,曲线却依然越来越陡。这意味着,如果数据准确,训练效率的提升速度本身也在加快。他据此认为,Anthropic 的算法进步已经呈现「超指数增长」。
Mythos 可能只是这条陡峭曲线上的普通一站。Anthropic 已经可以用远少于最初的算力,训练出与 Mythos 同等水平的模型。如果投入相同的算力,就有可能训练出更强的 AI。
而改进训练算法也不一定需要天才研究员不断提出突破性想法,这类工作已经接近能够自动化的阶段。Anthropic 联合创始人 Tom Brown 在路演中也谈到,未来 Claude 有望自行发现提高训练效率的方法。新方法可以用来训练更强的模型,而更强的模型又能继续寻找新的优化方法。
不过,这张图没有公开具体的算力倍数,只有三个数据点,图下注明位置仅供示意。
Coxon 主张应该在 2027 年暂停前沿 AI 研发,让竞争对手追上。这样会让人类水平的 AI 能力逐渐成为人人可用的普通商品,打破 OpenAI 和 Anthropic 依靠领先模型建立的优势。