来源:电子新闻记者李元智
“CLEVI,凭借 from scratch 自研模型在 GAIA 中取得 79.07%……在 3,090 个模型中位列前 2.5%”全文引用
发布日期:2026-04-07
链接:https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm 独立模型栈中的 5 个代理全部达到 70 分以上
考虑到信息损失,正确率达 98% 以上,超过人类(92%)
AI 初创公司“CLEVI”利用 from scratch 自研模型,在全球 AI 代理基准测试“GAIA”中取得了 79.07% 的正确率,在全部 3,090 个注册模型中跻身前 2.5%。
业界表示,在 AI 基准测试市场中,GAIA 被评价为能够忠实反映“实用 AI 代理”的能力。该基准测试由 Meta AI、HuggingFace 和巴黎-萨克雷大学等共同开发,于 2023 年 11 月首次公开。
GAIA 与其他基准测试的核心区别有三点。第一,由于答案不公开,因此无法过拟合。第二,由于要求进行多步骤、多模态的复杂推理,仅靠简单的模式匹配无法取得高分。第三,通过 HuggingFace 官方排行榜,全球 3,090 个以上的模型在相同条件下展开竞争。
测试集共由 301 道题目组成。Level 1 要求使用单一工具并进行简单推理,Level 2 要求组合使用多个工具并进行中等难度推理,Level 3 则是要求进行 5 个步骤以上的代理规划与执行的最高难度题目。在该基准测试发布时,以 GPT 模型(搭载插件)为标准的成绩仅约为 15%;目前排名靠前的团队已将成绩提升至 70%~80%。
其中,CLEVI 强调,该成果在技术上最值得关注的部分在于,完全没有使用 GPT、Claude、Gemini 等外部 LLM API。CLEVI 的特点是采用了两种以 from scratch 方式独立开发的模型。
cip-5.5-agent是一款智能体AI模型,作为能够自主规划(planning)、执行(execution)和验证(verification)复杂任务的智能体流水线的核心大脑。cip-5.5-mm是一款高性能通用多模态模型,能够理解并推理语音、图像、视频等多种文件格式。由于GAIA题目中相当一部分包含PDF、图像、音频文件等非文本输入,这种多模态能力成为取得高分的关键因素。
CLEVI基于这两款自研模型,派出5种不同的智能体配置参加GAIA,所有配置均取得了70分以上的成绩。
据该公司介绍,CLEVI在内部事后复核中发现了有趣的结果。在总计301道题目中,部分题目的正确答案依据目前已从公开网络上消失。也就是说,过去可以在线上或通过搜索引擎确认的信息已被删除或修改,因此不再能够访问。在当前人类可公开确认的信息范围内重新评估时,CLEVI的正确率达到98%以上。这一数值已经超过人类平均水平92%。
CLEVI相关人士表示:“CLEVI未混用外部模型,仅凭from scratch自研模型和自研AI智能体解决方案,就实现了5个智能体全部达到70+,进入公开基准测试前2.5%的行列。预计未来通过改进自研模型和智能体解决方案,官方成绩也有望进一步提升。这一成果意义深远,原因在于它在全球公开基准测试中经过实测,展现了‘经过验证的信任’;体现了韩国AI开发公司基于from scratch自研模型取得的成果;是独立模型栈而非外部模型混合的结果;并且考虑到部分题目的信息已经丢失,其解读价值超越了分数本身。”