コーディング agent は、チャットモデルをリポジトリで動かすための harness(システムプロンプト、ツール、コンテキスト管理)に包まれた言語モデルです。ベンダーは harness 変更による通過率向上をうたい、リーダーボードは harness を混ぜて並べがちです。あまり測られていないのは、モデルを固定したとき、harness 自体がスコアをどれだけ動かすかです。
山東大学の Yangze Liu、Zhongyi Han は論文 *What Does a Harness Buy? Tokens, Mostly.*(arXiv:2610.04433)で、本番の三つの harness——Claude Code、mini-SWE-agent、OpenCode——をピン留めし、同一モデルを SWE-bench Verified で回し、再実行と並べて読みます。モデルは Qwen3.6-35B-A3B、Qwen3.8-27B、DeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Preview など。Claude Opus 5 は Claude Code 内の強いアンカーとしてのみ。
通過率はほぼ動かない
447 タスクのプールでは、いちばん重い Claude Code といちばん軽い mini-SWE-agent が、両 Qwen で約 5 ポイント以内の等価。いちばん難しい 45 問では、harness を替えると結果が変わるタスクの割合が、同じ harness の再実行と同程度(中央値で約 13%)で、ある回で勝ったタスクが次の回でも同じとは限りません。この設計では、harness は安定した通過率の勝ちを買っていません。
OpenCode の遅れの中身
ノイズを超える差の多くは OpenCode 側の負けで、大プールの一 Qwen では最大およそ 9 ポイント。論文はその多くを 出力トークン上限と回復なし にたどります。推論の途中で切れたあと再プロンプトせず、ディスクにパッチが残らない試行が多い。Claude Code も同種の上限に当たりますが再開します。カットされなかったタスクだけ見ると差はおおよそ半分。これは具体的な失敗モードであり、「OpenCode が全面的に劣る」という総括ではありません。
harness が決めるのは請求
同一モデル・同一タスク・同一価格表では、1タスク費用が最大約 3 倍違います。差の主因はツール戻り文ではなく、毎ステップ再送される preamble(システムプロンプトとツール schema:Claude Code は約 16k トークン、OpenCode 約 7k、mini-SWE-agent は 1k 未満)と、モデルが踏むステップ数です。キャッシュヒット価格は請求を拡大/縮小しますが、著者の確認では三 harness の高低順はひっくり返りません。
インストール記事・多 agent 規模との位置づけ
DeepSeek 自身の harness の導入は DeepSeek Harness のインストール方法:Windows・Linux・CLI・プラグイン。VS Code 製品側の Copilot harness 既定は VS Code 1.143、Copilot harness が新しいセッションの既定に。もう一本の軸——単 agent ループはそのまま、人数だけ増やす——が harness はそのまま、agent を増やす:Agensh は 1,024 まで通過率が上がると主張 です。
数値は論文と公開 trial 表からのものです。この比較グリッドについて、私たちはまだ再測定していません。参考情報です。同様の harness 比較についてのフィードバックは、サイト下部の連絡先から送れます。
