Co-Design Bench 评测编程代理能否把真实用户的多模态改站请求，落实成可运行的现有网站修订。arXiv 预印本（2610.35138）提交于 2026 年 10 月 26 日 18:10:21（Asia/Shanghai）。作者单位包括复旦大学、Alibaba Token Hub／Alibaba Group、浙江大学、香港中文大学、上海交通大学与南洋理工大学等。

基准共有 273 个任务、2,331 条隐藏专家验收条目，来自 37,463 条去重查询与 26,314 个编程会话。Multimodal Editing 含 100 个局部编辑任务，Repository Editing 含 173 个跨文件协同修订任务。

两个分母不同的指标

在共享 Claude Code harness 下，十个端点里最强的 gpt-6-astra 得到：

  • Strict Completion 69.9%： 先算每个任务中完全 PASS 的条目占比，再对 273 个任务等权平均。这是“每任务条目通过率”的平均，不是任务成功率，也不是把 2,331 条混在一起的 micro 平均。
  • Full-Pass Rate 26.4%： 全部条目都 PASS 的任务占比。PARTIAL 不算完整通过。

论文要强调的正是这道缺口：平均能满足大部分检查项，多数任务仍会留下未完成条目。另有 Graded 分数把 PARTIAL 计为 0.5，最佳合并 graded 为 75.3%，不要与 69.9% 的 Strict 数字混用。同一端点在 ME 的 Strict／Full-Pass 为 75.4%／41.0%，RE 为 66.7%／17.9%；合并结果按 100 与 173 个任务加权。

开源范围

项目站 Hugging Face 链接文案写的是 96 个 ME 任务／521 条 criteria。论文中的 ME 仍是 100 个任务、553 条。站点示例是已归档的运行记录。

主比较固定同一 harness，最长 3 小时、120 轮，并采用 judge-then-refute。两位前端专家另核了 200 组 task–model 输出，并非对全部 2,730 组做人工复审。论文中的 harness 敏感性分析也显示模型与框架会相互作用。

相关讨论可看 换套 coding harness 会改变什么，以及 DeepSeek 在不同评测框架下的分数差。

我们暂时还没有独立复现 Co-Design Bench，也没有重跑这些端点。