Co-Design Benchは、コーディングエージェントが実ユーザーのマルチモーダルな依頼を既存Webアプリの動作する改修へ移せるかを測る。arXiv予稿（2610.35138）の提出は2026年10月26日18:10:21（Asia/Shanghai）。著者所属は復旦大学、Alibaba Token Hub／Alibaba Group、浙江大学、香港中文大学、上海交通大学、南洋理工大学などだ。

ベンチマークは273タスク、2,331件の隠し専門家受け入れ条件からなり、37,463件の重複除去後クエリと26,314セッションから作られた。Multimodal Editingは局所編集100件、Repository Editingは複数ファイル連携の改修173件を扱う。

分母の違う二つの指標

共有のClaude Code harnessのもとで、10エンドポイント中最強のgpt-6-astraは次の値を示す。

  • Strict Completion 69.9%： 各タスクで完全PASSした条件の割合を求め、273タスクを等重みで平均する。タスク成功率ではなく、2,331条件を混ぜたmicro平均でもない。
  • Full-Pass Rate 26.4%： すべての条件がPASSになったタスクの割合。PARTIALは完全達成に数えない。

論文の焦点は、この差にある。条件の多くを平均的に満たしても、大半のタスクには未完了の条件が残る。別指標のGradedはPARTIALを0.5点とし、最良のcombined gradedは75.3%で、69.9%のStrict数値と混同すべきではない。同一エンドポイントのトラック別Strict／Full-PassはME 75.4%／41.0%、RE 66.7%／17.9%で、合算は100件と173件のタスク数に応じて重み付けされる。

公開範囲

プロジェクトサイトのHugging Face案内は96 ME tasks／521 criteriaと記す。論文側のMEはなお100タスク、553条件だ。サイトの例はアーカイブされた実行結果だ。

主比較はharnessを固定し、最長3時間・120ターン、judge-then-refute方式を使う。フロントエンド専門家2人が200件のtask–model出力を確認したが、2,730組すべての人手再審査ではない。論文内のharness感度分析も、モデル×フレームワークの相互作用を示す。

関連して、コーディングharnessが何を買うか、DeepSeekのharness依存の点数差も参照できる。

Co-Design Benchの独立した再現や、エンドポイントの再実行はまだ行っていない。