Artificial Analysis 测了什么
Artificial Analysis 于北京时间 2026 年 10 月 21 日 13:10 公布 Devin Fusion CLI 的结果。Devin Fusion 同时运行两个代理,各自有独立的上下文和工具:一个前沿主模型,一个成本更低的副手。规划、分派任务和最终审查由主模型负责。本次测试的配置是主模型 Claude Opus 5.5 (max),副手 GPT-6 Luna (high)。Luna 的定位可参考 GPT-6 Sol 与 GPT-6 Luna 对比。
前三名基本打平
| 代理与模型 | 指数得分 |
|---|---|
| Claude Code,Claude Sonnet 5.5 (max) | 68.4 |
| Devin Fusion CLI,Claude Opus 5.5 (max) + GPT-6 Luna (high) | 68.2 |
| Muse Code,Muse Wonder Full (max) | 68.0 |
| Claude Code,Claude Opus 5.5 (max) | 66.0 |
前三名相差不到 0.4 分,Artificial Analysis 也称三者非常接近。本文数据以 Artificial Analysis 榜单页面为准,Artificial Analysis 最初在 X 上发布的帖子中 Devin Fusion 的得分为 68.1。
同一主模型,成本更低
| 指标 | Devin Fusion(Opus 5.5 + GPT-6 Luna) | Claude Code(Opus 5.5) |
|---|---|---|
| Coding Agent Index | 68.2 | 66.0 |
| 每任务成本 | 9.02 美元 | 13.04 美元 |
| 每任务平均耗时 | 55 分钟 | 64 分钟 |
| DeepSWE v1.1 | 72.6% | 68.4% |
| SWE-Atlas-QnA | 69.4% | 66.4% |
| Terminal-Bench 4.0 | 62.6% | 63.1% |
每任务成本约低 31%。Devin Fusion 在 DeepSWE v1.1 和 SWE-Atlas-QnA 上更高,在 Terminal-Bench 4.0 上略低。
成本是按 token 计费的 API 成本,包含两个模型的用量,不是订阅价,不能直接换算成 Claude Code 或 Devin 套餐的花费。Claude Code 与 Codex 的差别见 Claude Code 与 Codex 对比。
背景
Cognition 于 2026 年 6 月 29 日(美国太平洋时间)以预览形式推出 Devin Fusion,9 月 11 日(美国太平洋时间)在 Devin Desktop 和 Devin CLI 中上线 Fusion。Devin 的部分 GPT 用量可计入 ChatGPT 套餐一事,见 Devin 与 ChatGPT 套餐共享 token 的报道。
