Artificial Analysis 測了什麼

Artificial Analysis 於北京時間 2026 年 10 月 21 日 13:10 公布 Devin Fusion CLI 的結果。Devin Fusion 同時執行兩個代理,各自有獨立的上下文和工具:一個前沿主模型,一個成本較低的副手。規劃、分派任務和最終審查由主模型負責。本次測試的配置是主模型 Claude Opus 5.5 (max),副手 GPT-6 Luna (high)。Luna 的定位可參考 GPT-6 Sol 與 GPT-6 Luna 比較。

前三名大致打平

代理與模型指數得分
Claude Code,Claude Sonnet 5.5 (max)68.4
Devin Fusion CLI,Claude Opus 5.5 (max) + GPT-6 Luna (high)68.2
Muse Code,Muse Wonder Full (max)68.0
Claude Code,Claude Opus 5.5 (max)66.0

前三名相差不到 0.4 分,Artificial Analysis 也稱三者非常接近。本文數據以 Artificial Analysis 榜單頁面為準,Artificial Analysis 最初在 X 上發布的貼文中 Devin Fusion 的得分為 68.1。

同一主模型,成本更低

指標Devin Fusion(Opus 5.5 + GPT-6 Luna)Claude Code(Opus 5.5)
Coding Agent Index68.266.0
每任務成本9.02 美元13.04 美元
每任務平均耗時55 分鐘64 分鐘
DeepSWE v1.172.6%68.4%
SWE-Atlas-QnA69.4%66.4%
Terminal-Bench 4.062.6%63.1%

每任務成本約低 31%。Devin Fusion 在 DeepSWE v1.1 和 SWE-Atlas-QnA 上較高,在 Terminal-Bench 4.0 上略低。

成本是按 token 計費的 API 成本,包含兩個模型的用量,不是訂閱價,不能直接換算成 Claude Code 或 Devin 方案的花費。Claude Code 與 Codex 的差異見 Claude Code 與 Codex 比較。

背景

Cognition 於 2026 年 6 月 29 日(美國太平洋時間)以預覽形式推出 Devin Fusion,9 月 11 日(美國太平洋時間)在 Devin Desktop 和 Devin CLI 中上線 Fusion。Devin 的部分 GPT 用量可計入 ChatGPT 方案一事,見 Devin 與 ChatGPT 方案共享 token 的報導。