mt logoMyToken
ETH Gas
EN

2.8万亿参数只是开始:Kimi K3正在把大模型竞争推向“AI造AI”

Favoritecollect
Shareshare

作者:Climber,CryptoPulse Labs

7月16日,月之暗面正式推出新一代开源模型Kimi K3。模型拥有2.8万亿参数、100万Token上下文窗口,原生支持视觉理解,并采用Kimi Delta Attention和Attention Residuals等技术。

这是全球首个3万亿级别的开源模型,虽然Kimi K3整体表现仍落后于Claude Fable 5和GPT-5.6 Sol等最强闭源模型,但其在多项评测中展现出前沿水平,月之暗面称其整体表现稳定超过其他测试模型。

更值得关注的是,Kimi K3还自主完成了一款芯片的设计。一个大模型,开始尝试设计运行AI所需要的硬件,这或许比2.8万亿参数本身更值得关注。

一、2.8万亿参数背后:大模型竞争从规模走向效率

过去几年,大模型行业最容易被理解的指标就是参数量。从几十亿到千亿,再到万亿,参数规模几乎成为衡量模型能力的重要符号。

但当模型规模达到2.8万亿参数之后,真正的问题已经不再是“模型有多大”,而是:如此庞大的模型如何训练?每次任务到底需要多少参数参与计算?如何让模型拥有更强能力,同时控制运行成本?

Kimi K3给出的答案,是进一步扩大稀疏化架构。

据月之暗面介绍,Kimi K3采用Mixture of Experts,也就是混合专家架构。模型拥有896个专家模块,但每次任务只激活其中16个专家。

这意味着,模型可以拥有巨大的知识容量,但不需要每次都调用全部参数。就像一座拥有896个专业部门的超级机构,面对不同问题时,只需要调动最相关的16个部门。

这种架构的核心价值在于,模型的总规模和单次计算成本可以被分离。

未来,大模型的竞争不一定是谁拥有更多参数,而是谁能够让更多参数以更低成本被有效调用。

Kimi K3的另一项核心创新是Kimi Delta Attention,也就是KDA。传统Transformer架构在处理超长文本时,计算量和内存压力会明显增加。KDA的目标,就是提高模型处理长序列信息的效率。

与此同时,Kimi K3引入了Attention Residuals,也就是注意力残差机制。传统模型通常按照层级逐步传递信息,信息不断累积到后面的层,但也可能出现冗余和衰减。

Attention Residuals则试图让模型跨越不同深度,选择性调用更早阶段的信息。

如果说传统模型的信息流像一条从起点流向终点的河流,那么Attention Residuals更像是在沿途建立了一套信息检索系统,模型可以根据任务重新调用不同深度的信息。

月之暗面表示,相较Kimi K2,Kimi K3实现了约2.5倍的整体扩展效率提升。

这说明,AI行业正在从“规模越大越强”,转向“如何将更大的规模转化为更高的效率”。

Kimi K3的意义,也不只是推出一个2.8万亿参数模型,而是进一步推高了开源模型的规模上限。

过去,开源模型更多被视为闭源模型的追赶者。如今,开源模型开始尝试证明:超大规模模型同样可以被公开、被研究、被二次开发。

二、从聊天机器人到数字员工:Kimi K3瞄准的是复杂工作

如果说2.8万亿参数是Kimi K3最容易传播的标签,那么它真正的产品方向,其实是长程任务。

过去的AI助手,大多数时候是在回答问题。用户提出问题,模型给出答案。让它写代码,它返回代码。让它总结文章,它生成摘要。

但现实中的复杂工作,往往不是一次问答可以完成的。

一个研究员可能需要阅读论文、整理数据、建立模型、运行实验、分析结果,再撰写报告。一个程序员可能需要阅读大量文件、理解项目结构、修改代码运行测试、定位错误再不断迭代。

这些任务的共同特点是周期长、步骤多、信息量大,并且需要根据中间结果不断调整下一步行动,而这正是Kimi K3试图解决的问题。

月之暗面展示的案例中,Kimi K3曾完成一个计算天体物理学研究任务。通过阅读并交叉验证20多篇论文,完成数值计算,实现数百个状态方程的评估,发现已发表公式中的不一致,并生成3000多行Python代码和交互式HTML仪表盘。

官方称这项任务大约耗时两小时,而传统情况下可能需要一到两周经验丰富的研究人员完成。

这并不意味着AI已经可以取代研究人员,科研工作最重要的部分往往是提出问题、判断假设和解释结果。

但Kimi K3展示了一个重要变化,AI正在从帮助人类完成某个步骤,逐渐转向自主完成一整套工作流。这正是Agent时代与传统聊天机器人时代的区别。

传统聊天机器人解决的是你问什么,我回答什么。而Agent解决的是你告诉我目标,我自己拆解任务、调用工具、执行步骤、检查结果,并不断修正。

Kimi K3的100万Token上下文窗口,在这个过程中具有重要意义。

对于大型代码仓库、研究报告、企业资料和复杂项目文档而言,模型能够一次性理解更多信息,就意味着它不需要频繁遗忘上下文,也不需要用户不断重复背景。

同时Kimi K3原生支持视觉理解,让AI可以形成更加完整的工作闭环。

例如AI写代码后,可以查看网页运行结果;AI制作PPT后,可以检查页面布局;AI生成内容后,也可以通过视觉反馈判断结果。

过去的AI更像是闭着眼睛写代码,未来的AI则可以形成理解任务、生成结果、观察结果、发现问题、修改结果。

月之暗面也将Kimi能力延伸到Kimi Work、Kimi Code和Kimi API等场景,分别面向研究、文档、幻灯片、表格、仪表盘以及复杂编程任务。

未来,真正具有商业价值的AI,可能不再是回答问题最多的模型,而是能够完成工作最多的模型。

传统软件要求用户学习复杂的操作流程,而AI Agent的目标,是把搜索、数据库、编程、数据分析和办公工具连接起来,让用户只需要描述最终目标。

这意味着未来软件行业的竞争可能不再是谁拥有更多工具,而是谁拥有更强的AI执行系统。

三、最值得关注的不是模型,而是AI开始设计芯片

Kimi K3最令人震撼的部分,可能是它自主完成芯片设计。

根据月之暗面披露的信息,Kimi K3在一次48小时的自主运行中,使用开源EDA工具和Nangate 45nm工艺库,完成了一款面向自身架构小型模型的芯片设计、优化和验证。

这并不意味着Kimi K3已经能够独立完成现代先进制程AI芯片的商业化量产。45nm工艺与今天最先进的AI加速器存在巨大差距,芯片从设计到量产还涉及复杂的IP、工艺、制造、封装和供应链体系。

但这一尝试依然具有重要意义,因为芯片设计不是简单写代码,而是需要处理逻辑设计、综合、布局布线、时序分析、功耗优化和物理验证等多个环节。

过去,AI在芯片行业更多是辅助工程师完成局部任务,例如优化布局、预测时序、发现设计缺陷。

而Kimi K3展示的是另一种可能,即AI不再只是使用工具,而是开始自主组织工具完成完整工程流程。

这与AI写代码的发展路径非常相似。早期AI只能生成一小段代码,后来可以编写完整程序,再后来能够读取代码库、运行测试和修复Bug。如今,AI开始尝试设计运行AI所需要的硬件。

这可能形成一个新的AI自我增强循环,AI帮助设计更强的芯片、更强的芯片训练出更强的模型、更强的模型又帮助设计下一代芯片。

更值得注意的是,Kimi K3还展示了自主开发GPU编程系统的能力。

月之暗面披露,Kimi K3开发了MiniTriton,一个类似Triton的紧凑型编译器系统,包括自己的中间表示层、优化流程和PTX代码生成流程。

这说明AI能力的边界正在从使用软件进一步扩展到创造软件工具。

未来,模型本身可能直接参与芯片优化、编译器开发、算子适配和系统调优,这可能是Kimi K3最重要的战略价值。

它不只是一个模型产品,而是在探索一种AI-native的研发模式。从模型到编译器,从算法到芯片,从数据到应用,AI逐渐成为整个基础设施的一部分。

当然,AI自主设计的芯片仍然需要严格验证,AI生成的科研结果也需要专业人士审查,AI自主执行复杂任务时同样可能出现错误。

但Kimi K3已经释放出一个重要信号,那就是AI正在从被创造的对象,逐渐成为参与创造下一代AI的主体。

结语

Kimi K3的发布,表面上是一次模型升级,背后却代表着大模型竞争逻辑的变化。

从更大的参数规模,到更高效的架构。从回答问题到完成复杂工作,再到自主开发编译器、设计芯片,AI正在逐渐参与创造下一代AI。

2.8万亿参数或许只是一个数字,真正值得关注的是AI开始尝试设计自己的未来。

Disclaimer: This article is copyrighted by the original author and does not represent MyToken’s views and positions. If you have any questions regarding content or copyright, please contact us.(www.mytokencap.com)contact
More exciting content is available on
X(https://x.com/MyTokencap)
or join the community to learn more:MyToken-English Telegram Group
https://t.me/mytokenGroup