Co-Design Bench 評測編程代理能否把真實使用者的多模態改站請求，落實成可運行的既有網站修訂。arXiv 預印本（2610.35138）提交於 2026 年 10 月 26 日 18:10:21（Asia/Shanghai）。作者單位包括復旦大學、Alibaba Token Hub／Alibaba Group、浙江大學、香港中文大學、上海交通大學與南洋理工大學等。

基準共有 273 個任務、2,331 條隱藏專家驗收條目，來自 37,463 條去重查詢與 26,314 個編程工作階段。Multimodal Editing 含 100 個局部編輯任務，Repository Editing 含 173 個跨檔案協同修訂任務。

兩個分母不同的指標

在共享 Claude Code harness 下，十個端點裡最強的 gpt-6-astra 得到：

  • Strict Completion 69.9%： 先算每個任務中完全 PASS 的條目占比，再對 273 個任務等權平均。這是「每任務條目通過率」的平均，不是任務成功率，也不是把 2,331 條混在一起的 micro 平均。
  • Full-Pass Rate 26.4%： 全部條目都 PASS 的任務占比。PARTIAL 不算完整通過。

論文要強調的正是這道缺口：平均能滿足大部分檢查項，多數任務仍會留下未完成條目。另有 Graded 分數把 PARTIAL 計為 0.5，最佳合併 graded 為 75.3%，不要與 69.9% 的 Strict 數字混用。同一端點在 ME 的 Strict／Full-Pass 為 75.4%／41.0%，RE 為 66.7%／17.9%；合併結果按 100 與 173 個任務加權。

開源範圍

專案站 Hugging Face 連結文案寫的是 96 個 ME 任務／521 條 criteria。論文中的 ME 仍是 100 個任務、553 條。站點示例是已封存的運行記錄。

主比較固定同一 harness，最長 3 小時、120 輪，並採用 judge-then-refute。兩位前端專家另核了 200 組 task–model 輸出，並非對全部 2,730 組做人工複審。論文中的 harness 敏感性分析也顯示模型與框架會相互作用。

相關討論可看 換套 coding harness 會改變什麼，以及 DeepSeek 在不同評測框架下的分數差。

我們暫時還沒有獨立重現 Co-Design Bench，也沒有重跑這些端點。