編碼 agent 可以看成「模型 + harness」:系統提示、工具集、上下文管理,把聊天模型變成能在倉庫裡幹活的東西。廠商會宣傳改 harness 帶來的通過率提升,排行榜也常把不同 harness 混在一起比。真正少測的是:模型固定時,換套 harness,分數到底動多少。
山東大學的 Yangze Liu、Zhongyi Han 在論文《What Does a Harness Buy? Tokens, Mostly.》(arXiv:2610.04433)裡測了三套現成產品 harness——Claude Code、mini-SWE-agent、OpenCode——在 SWE-bench Verified 上跑同一批模型,並用重跑把「換 harness」和「同一配置再跑一遍」擺在同一把尺子上。模型包括 Qwen3.6-35B-A3B、Qwen3.8-27B、DeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Preview;Claude Opus 5 只作為 Claude Code 內的強錨。
通過率幾乎不動
在 447 題大盤上,最重的 Claude Code 與最輕的 mini-SWE-agent,在兩款 Qwen 上差距落在約 5 個百分點以內,可判為等價。在 45 道最難題上,換 harness 翻掉的任務比例,與重跑同一 harness 差不多(中位約 13%),而且上一輪某 harness「獨贏」的題,下一輪往往不再是同一批。換句話說:在這套設計下,harness 買不到穩定的通過率優勢。
OpenCode 落後從哪來
能穿過噪聲的差距,多半是 OpenCode 落後——大盤上某一 Qwen 最多大約 9 個百分點。論文把其中很大一塊追到 輸出 token 上限且沒有恢復:一步推理被截斷後,OpenCode 不重新提示,很多試次磁碟上什麼補丁都沒有;Claude Code 也會撞同類上限,但會續跑。只統計未被截斷的題,差距大約砍半。這是可點名的失敗模式,不是「OpenCode 全面更差」的總排名。
harness 真正決定的是帳單
同一模型、同一題集、同一價表下,單任務成本最多可差約 3 倍。差距很少來自工具返回的文本量——三次調用量級相近;主要來自每步都要再送一遍的 preamble(系統提示+工具 schema:Claude Code 大約一萬六千 token 量級,OpenCode 約七千,mini-SWE-agent 不到一千),再乘模型走了多少步。快取命中價會放大或縮小帳單,但在作者的對照裡不會把三套 harness 的貴賤順序翻掉。
和安裝教學、多 agent 規模怎麼對照
DeepSeek 自家 harness 的安裝步驟見 DeepSeek Harness 安裝教學:Windows、Linux、CLI 與外掛。VS Code 產品側把 Copilot harness 設為新工作階段預設,見 VS Code 1.143 把 Copilot harness 設為新工作階段預設。另一條軸——不換單 agent 循環、只加多少人一起幹——是 不換 harness、只加人數:Agensh 自稱多 agent 編碼擴到 1,024 時通過率更高 的主線。
以上數字來自論文與公開 trial 表;對於這套對照網格,我們暫時還沒有複測。僅供參考。做過類似 harness 對照的回饋,可透過網站底部站長聯繫方式提交。
