Artificial Analysis 测了什么

Artificial Analysis 于北京时间 2026 年 10 月 21 日 13:10 公布 Devin Fusion CLI 的结果。Devin Fusion 同时运行两个代理,各自有独立的上下文和工具:一个前沿主模型,一个成本更低的副手。规划、分派任务和最终审查由主模型负责。本次测试的配置是主模型 Claude Opus 5.5 (max),副手 GPT-6 Luna (high)。Luna 的定位可参考 GPT-6 Sol 与 GPT-6 Luna 对比。

前三名基本打平

代理与模型指数得分
Claude Code,Claude Sonnet 5.5 (max)68.4
Devin Fusion CLI,Claude Opus 5.5 (max) + GPT-6 Luna (high)68.2
Muse Code,Muse Wonder Full (max)68.0
Claude Code,Claude Opus 5.5 (max)66.0

前三名相差不到 0.4 分,Artificial Analysis 也称三者非常接近。本文数据以 Artificial Analysis 榜单页面为准,Artificial Analysis 最初在 X 上发布的帖子中 Devin Fusion 的得分为 68.1。

同一主模型,成本更低

指标Devin Fusion(Opus 5.5 + GPT-6 Luna)Claude Code(Opus 5.5)
Coding Agent Index68.266.0
每任务成本9.02 美元13.04 美元
每任务平均耗时55 分钟64 分钟
DeepSWE v1.172.6%68.4%
SWE-Atlas-QnA69.4%66.4%
Terminal-Bench 4.062.6%63.1%

每任务成本约低 31%。Devin Fusion 在 DeepSWE v1.1 和 SWE-Atlas-QnA 上更高,在 Terminal-Bench 4.0 上略低。

成本是按 token 计费的 API 成本,包含两个模型的用量,不是订阅价,不能直接换算成 Claude Code 或 Devin 套餐的花费。Claude Code 与 Codex 的差别见 Claude Code 与 Codex 对比。

背景

Cognition 于 2026 年 6 月 29 日(美国太平洋时间)以预览形式推出 Devin Fusion,9 月 11 日(美国太平洋时间)在 Devin Desktop 和 Devin CLI 中上线 Fusion。Devin 的部分 GPT 用量可计入 ChatGPT 套餐一事,见 Devin 与 ChatGPT 套餐共享 token 的报道。