作者:Climber,CryptoPulse Labs
7月16日,月之暗面正式推出新一代开源模型Kimi K3。模型拥有2.8万亿参数、100万Token上下文窗口,原生支持视觉理解,并采用Kimi Delta Attention和Attention Residuals等技术。
这是全球首个3万亿级别的开源模型,虽然Kimi K3整体表现仍落后于Claude Fable 5和GPT-5.6 Sol等最强闭源模型,但其在多项评测中展现出前沿水平,月之暗面称其整体表现稳定超过其他测试模型。
更值得关注的是,Kimi K3还自主完成了一款芯片的设计。一个大模型,开始尝试设计运行AI所需要的硬件,这或许比2.8万亿参数本身更值得关注。
一、2.8万亿参数背后:大模型竞争从规模走向效率
过去几年,大模型行业最容易被理解的指标就是参数量。从几十亿到千亿,再到万亿,参数规模几乎成为衡量模型能力的重要符号。
但当模型规模达到2.8万亿参数之后,真正的问题已经不再是“模型有多大”,而是:如此庞大的模型如何训练?每次任务到底需要多少参数参与计算?如何让模型拥有更强能力,同时控制运行成本?
Kimi K3给出的答案,是进一步扩大稀疏化架构。
据月之暗面介绍,Kimi K3采用Mixture of Experts,也就是混合专家架构。模型拥有896个专家模块,但每次任务只激活其中16个专家。
这意味着,模型可以拥有巨大的知识容量,但不需要每次都调用全部参数。就像一座拥有896个专业部门的超级机构,面对不同问题时,只需要调动最相关的16个部门。
这种架构的核心价值在于,模型的总规模和单次计算成本可以被分离。
未来,大模型的竞争不一定是谁拥有更多参数,而是谁能够让更多参数以更低成本被有效调用。
Kimi K3的另一项核心创新是Kimi Delta Attention,也就是KDA。传统Transformer架构在处理超长文本时,计算量和内存压力会明显增加。KDA的目标,就是提高模型处理长序列信息的效率。
与此同时,Kimi K3引入了Attention Residuals,也就是注意力残差机制。传统模型通常按照层级逐步传递信息,信息不断累积到后面的层,但也可能出现冗余和衰减。
Attention Residuals则试图让模型跨越不同深度,选择性调用更早阶段的信息。
如果说传统模型的信息流像一条从起点流向终点的河流,那么Attention Residuals更像是在沿途建立了一套信息检索系统,模型可以根据任务重新调用不同深度的信息。
月之暗面表示,相较Kimi K2,Kimi K3实现了约2.5倍的整体扩展效率提升。
这说明,AI行业正在从“规模越大越强”,转向“如何将更大的规模转化为更高的效率”。
Kimi K3的意义,也不只是推出一个2.8万亿参数模型,而是进一步推高了开源模型的规模上限。
过去,开源模型更多被视为闭源模型的追赶者。如今,开源模型开始尝试证明:超大规模模型同样可以被公开、被研究、被二次开发。
二、从聊天机器人到数字员工:Kimi K3瞄准的是复杂工作
如果说2.8万亿参数是Kimi K3最容易传播的标签,那么它真正的产品方向,其实是长程任务。
过去的AI助手,大多数时候是在回答问题。用户提出问题,模型给出答案。让它写代码,它返回代码。让它总结文章,它生成摘要。
但现实中的复杂工作,往往不是一次问答可以完成的。
一个研究员可能需要阅读论文、整理数据、建立模型、运行实验、分析结果,再撰写报告。一个程序员可能需要阅读大量文件、理解项目结构、修改代码运行测试、定位错误再不断迭代。
这些任务的共同特点是周期长、步骤多、信息量大,并且需要根据中间结果不断调整下一步行动,而这正是Kimi K3试图解决的问题。
月之暗面展示的案例中,Kimi K3曾完成一个计算天体物理学研究任务。通过阅读并交叉验证20多篇论文,完成数值计算,实现数百个状态方程的评估,发现已发表公式中的不一致,并生成3000多行Python代码和交互式HTML仪表盘。
官方称这项任务大约耗时两小时,而传统情况下可能需要一到两周经验丰富的研究人员完成。
这并不意味着AI已经可以取代研究人员,科研工作最重要的部分往往是提出问题、判断假设和解释结果。
但Kimi K3展示了一个重要变化,AI正在从帮助人类完成某个步骤,逐渐转向自主完成一整套工作流。这正是Agent时代与传统聊天机器人时代的区别。
传统聊天机器人解决的是你问什么,我回答什么。而Agent解决的是你告诉我目标,我自己拆解任务、调用工具、执行步骤、检查结果,并不断修正。
Kimi K3的100万Token上下文窗口,在这个过程中具有重要意义。
对于大型代码仓库、研究报告、企业资料和复杂项目文档而言,模型能够一次性理解更多信息,就意味着它不需要频繁遗忘上下文,也不需要用户不断重复背景。
同时Kimi K3原生支持视觉理解,让AI可以形成更加完整的工作闭环。
例如AI写代码后,可以查看网页运行结果;AI制作PPT后,可以检查页面布局;AI生成内容后,也可以通过视觉反馈判断结果。
过去的AI更像是闭着眼睛写代码,未来的AI则可以形成理解任务、生成结果、观察结果、发现问题、修改结果。
月之暗面也将Kimi能力延伸到Kimi Work、Kimi Code和Kimi API等场景,分别面向研究、文档、幻灯片、表格、仪表盘以及复杂编程任务。
未来,真正具有商业价值的AI,可能不再是回答问题最多的模型,而是能够完成工作最多的模型。
传统软件要求用户学习复杂的操作流程,而AI Agent的目标,是把搜索、数据库、编程、数据分析和办公工具连接起来,让用户只需要描述最终目标。
这意味着未来软件行业的竞争可能不再是谁拥有更多工具,而是谁拥有更强的AI执行系统。
三、最值得关注的不是模型,而是AI开始设计芯片
Kimi K3最令人震撼的部分,可能是它自主完成芯片设计。
根据月之暗面披露的信息,Kimi K3在一次48小时的自主运行中,使用开源EDA工具和Nangate 45nm工艺库,完成了一款面向自身架构小型模型的芯片设计、优化和验证。
这并不意味着Kimi K3已经能够独立完成现代先进制程AI芯片的商业化量产。45nm工艺与今天最先进的AI加速器存在巨大差距,芯片从设计到量产还涉及复杂的IP、工艺、制造、封装和供应链体系。
但这一尝试依然具有重要意义,因为芯片设计不是简单写代码,而是需要处理逻辑设计、综合、布局布线、时序分析、功耗优化和物理验证等多个环节。
过去,AI在芯片行业更多是辅助工程师完成局部任务,例如优化布局、预测时序、发现设计缺陷。
而Kimi K3展示的是另一种可能,即AI不再只是使用工具,而是开始自主组织工具完成完整工程流程。
这与AI写代码的发展路径非常相似。早期AI只能生成一小段代码,后来可以编写完整程序,再后来能够读取代码库、运行测试和修复Bug。如今,AI开始尝试设计运行AI所需要的硬件。
这可能形成一个新的AI自我增强循环,AI帮助设计更强的芯片、更强的芯片训练出更强的模型、更强的模型又帮助设计下一代芯片。
更值得注意的是,Kimi K3还展示了自主开发GPU编程系统的能力。
月之暗面披露,Kimi K3开发了MiniTriton,一个类似Triton的紧凑型编译器系统,包括自己的中间表示层、优化流程和PTX代码生成流程。
这说明AI能力的边界正在从使用软件进一步扩展到创造软件工具。
未来,模型本身可能直接参与芯片优化、编译器开发、算子适配和系统调优,这可能是Kimi K3最重要的战略价值。
它不只是一个模型产品,而是在探索一种AI-native的研发模式。从模型到编译器,从算法到芯片,从数据到应用,AI逐渐成为整个基础设施的一部分。
当然,AI自主设计的芯片仍然需要严格验证,AI生成的科研结果也需要专业人士审查,AI自主执行复杂任务时同样可能出现错误。
但Kimi K3已经释放出一个重要信号,那就是AI正在从被创造的对象,逐渐成为参与创造下一代AI的主体。
结语
Kimi K3的发布,表面上是一次模型升级,背后却代表着大模型竞争逻辑的变化。
从更大的参数规模,到更高效的架构。从回答问题到完成复杂工作,再到自主开发编译器、设计芯片,AI正在逐渐参与创造下一代AI。
2.8万亿参数或许只是一个数字,真正值得关注的是AI开始尝试设计自己的未来。


