Mamba团队新突破:无预训练仅76K参数模型跻身ARC-AGI前三

   时间:2025-12-17 01:07 来源:快讯作者:任飞扬

在人工智能研究领域,一项名为CompressARC的新成果引发了广泛关注。这项由Mamba团队核心成员Albert Gu指导、CMU博士生Isaac Liao主导的研究,通过颠覆传统训练范式,在通用智能测试基准ARC-AGI-1上取得突破性进展——仅用76K参数的未预训练模型,便在评估集中解决了20%的谜题。

与传统依赖海量数据预训练的模型不同,CompressARC开创性地采用"最小描述长度"(MDL)理论作为核心框架。该理论源于数学与计算机科学交叉领域,其核心思想认为:揭示现象本质规律的程序,往往具有最简洁的代码形式。研究团队将这一哲学转化为技术实践——通过构建能生成目标谜题的最短计算机程序,使模型在推理阶段自动学习隐含规则,而非被动记忆训练数据。

实验设计极具挑战性:模型仅能接触每个谜题的2个示例输入/输出对及1个测试输入,完全不依赖外部训练集。这种"单样本学习"模式,迫使系统必须从有限信息中抽象出通用规则。为解决程序搜索空间爆炸的难题,研究团队设计了包含固定运算流程的模板程序,将问题转化为寻找最优种子值和神经网络权重的优化过程。

技术实现层面,模型架构融合了多项创新:通过等变设计内置对旋转、翻转等几何变换的天然理解;采用多张量数据结构存储不同粒度的空间关系;核心运算模块包含专门设计的几何操作(如单像素平移)和拓扑操作(如累积最大值),这些无参数操作直接编码了对抽象推理任务的先验知识。整个网络仅76K参数,其中90%用于通道维度的线性投影,核心逻辑通过硬编码操作实现。

在优化算法上,研究团队借鉴变分自编码器原理,将程序长度最小化转化为可微分问题。通过同时最小化KL散度(控制随机噪声z的信息量)和交叉熵(衡量输出与真实谜题的匹配度),系统能在梯度下降过程中自动平衡规则复杂度与重构精度。这种设计使模型能用2000个推理步骤(约20分钟/谜题)完成训练,在评估集中达到20%的准确率,训练集准确率更高达34.75%。

对比现有方法,该成果具有显著差异:基于互联网数据预训练的o3模型虽在评估中取得88%的准确率,但其参数规模达数十亿级;同类未预训练神经网络的最高成绩为40.3%,但需接触整个ARC-AGI训练集。CompressARC的突破在于证明:通过压缩原理引导的智能涌现,可能成为通往通用人工智能的独立路径。

这项研究的核心基准ARC-AGI-1由GoogleAI研究员François Chollet于2019年提出,旨在评估AI处理未明确训练过的新问题的能力。该测试包含80个手工设计的抽象推理谜题,涵盖对象操作、模式识别、空间变换等认知任务,被学界视为衡量通用智能的核心标尺。CompressARC的成果,为破解这一挑战提供了全新视角。

研究团队负责人Isaac Liao的学术背景同样引人注目:这位MIT计算机科学与物理学双学位获得者,在CMU攻读博士期间专注于最小描述长度理论、变分推断等前沿领域。其导师Albert Gu作为Mamba架构的提出者,此次合作再次验证了跨学科研究在推动AI范式变革中的关键作用。

 
 
更多>同类内容
全站最新
热门内容