Artificial Analysis 測了什麼
Artificial Analysis 於北京時間 2026 年 10 月 21 日 13:10 公布 Devin Fusion CLI 的結果。Devin Fusion 同時執行兩個代理,各自有獨立的上下文和工具:一個前沿主模型,一個成本較低的副手。規劃、分派任務和最終審查由主模型負責。本次測試的配置是主模型 Claude Opus 5.5 (max),副手 GPT-6 Luna (high)。Luna 的定位可參考 GPT-6 Sol 與 GPT-6 Luna 比較。
前三名大致打平
| 代理與模型 | 指數得分 |
|---|---|
| Claude Code,Claude Sonnet 5.5 (max) | 68.4 |
| Devin Fusion CLI,Claude Opus 5.5 (max) + GPT-6 Luna (high) | 68.2 |
| Muse Code,Muse Wonder Full (max) | 68.0 |
| Claude Code,Claude Opus 5.5 (max) | 66.0 |
前三名相差不到 0.4 分,Artificial Analysis 也稱三者非常接近。本文數據以 Artificial Analysis 榜單頁面為準,Artificial Analysis 最初在 X 上發布的貼文中 Devin Fusion 的得分為 68.1。
同一主模型,成本更低
| 指標 | Devin Fusion(Opus 5.5 + GPT-6 Luna) | Claude Code(Opus 5.5) |
|---|---|---|
| Coding Agent Index | 68.2 | 66.0 |
| 每任務成本 | 9.02 美元 | 13.04 美元 |
| 每任務平均耗時 | 55 分鐘 | 64 分鐘 |
| DeepSWE v1.1 | 72.6% | 68.4% |
| SWE-Atlas-QnA | 69.4% | 66.4% |
| Terminal-Bench 4.0 | 62.6% | 63.1% |
每任務成本約低 31%。Devin Fusion 在 DeepSWE v1.1 和 SWE-Atlas-QnA 上較高,在 Terminal-Bench 4.0 上略低。
成本是按 token 計費的 API 成本,包含兩個模型的用量,不是訂閱價,不能直接換算成 Claude Code 或 Devin 方案的花費。Claude Code 與 Codex 的差異見 Claude Code 與 Codex 比較。
背景
Cognition 於 2026 年 6 月 29 日(美國太平洋時間)以預覽形式推出 Devin Fusion,9 月 11 日(美國太平洋時間)在 Devin Desktop 和 Devin CLI 中上線 Fusion。Devin 的部分 GPT 用量可計入 ChatGPT 方案一事,見 Devin 與 ChatGPT 方案共享 token 的報導。
