编码 agent 可以看成「模型 + harness」:系统提示、工具集、上下文管理,把聊天模型变成能在仓库里干活的东西。厂商会宣传改 harness 带来的通过率提升,排行榜也常把不同 harness 混在一起比。真正少测的是:模型固定时,换套 harness,分数到底动多少。

山东大学的 Yangze Liu、Zhongyi Han 在论文《What Does a Harness Buy? Tokens, Mostly.》(arXiv:2610.04433)里测了三套现成产品 harness——Claude Code、mini-SWE-agent、OpenCode——在 SWE-bench Verified 上跑同一批模型,并用重跑把「换 harness」和「同一配置再跑一遍」摆在同一把尺子上。模型包括 Qwen3.6-35B-A3B、Qwen3.8-27B、DeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Preview;Claude Opus 5 只作为 Claude Code 内的强锚。

通过率几乎不动

在 447 题大盘上,最重的 Claude Code 与最轻的 mini-SWE-agent,在两款 Qwen 上差距落在约 5 个百分点以内,可判为等价。在 45 道最难题上,换 harness 翻掉的任务比例,与重跑同一 harness 差不多(中位约 13%),而且上一轮某 harness「独赢」的题,下一轮往往不再是同一批。换句话说:在这套设计下,harness 买不到稳定的通过率优势。

OpenCode 落后从哪来

能穿过噪声的差距,多半是 OpenCode 落后——大盘上某一 Qwen 最多大约 9 个百分点。论文把其中很大一块追到 输出 token 上限且没有恢复:一步推理被截断后,OpenCode 不重新提示,很多试次磁盘上什么补丁都没有;Claude Code 也会撞同类上限,但会续跑。只统计未被截断的题,差距大约砍半。这是可点名的失败模式,不是「OpenCode 全面更差」的总排名。

harness 真正决定的是账单

同一模型、同一题集、同一价表下,单任务成本最多可差约 3 倍。差距很少来自工具返回的文本量——三次调用量级相近;主要来自每步都要再送一遍的 preamble(系统提示+工具 schema:Claude Code 大约一万六千 token 量级,OpenCode 约七千,mini-SWE-agent 不到一千),再乘模型走了多少步。缓存命中价会放大或缩小账单,但在作者的对照里不会把三套 harness 的贵贱顺序翻掉。

和安装教程、多 agent 规模怎么对照

DeepSeek 自家 harness 的安装步骤见 DeepSeek Harness 安装教程:Windows、Linux、CLI 与插件。VS Code 产品侧把 Copilot harness 设为新会话默认,见 VS Code 1.143 把 Copilot harness 设为新会话默认。另一条轴——不换单 agent 循环、只加多少人一起干——是 不换 harness、只加人数:Agensh 自称多 agent 编码扩到 1,024 时通过率更高 的主线。

以上数字来自论文与公开 trial 表;对于这套对照网格,我们暂时还没有复测。仅供参考。做过类似 harness 对照的反馈,可通过网站底部站长联系方式提交。