本文目录
ARC Prize 官方结果页上,DeepSeek V4.1 Flash 1017 的页头写着 DeepSeek · Oct 17, 2026 · 5 harness configurations。在这条横幅下,同一模型、同一 max 推理档,ARC-AGI-3 上 Standard harness 是 0.2%,Provider Adapter harness 是 5.8%。这个分差不是悄悄换了一批新权重,也不是又发了一个新模型。它是评测运行框架——步骤之间允许留下什么——在 Verified scores 同一行上变成两个差得很远的头条百分比。
相关阅读:DeepSeek V4.1 Flash 1017 在 Code Arena、Vals AI 和 Artificial Analysis 上排第几、同一个模型换套 coding harness,通过率几乎不动,账单为什么差这么多?、Microsoft 在 Foundry Agent Service 公测推出 Copilot harness、DeepSeek V4.1 Flash 现已可在 Cursor 中使用。第一篇覆盖该检查点的开放权重/API/其它榜背景。第二篇讲的是 coding harness 的成本与通过率——适合拿来对比,但和 ARC 评测 harness 不是同题。后两篇是产品 harness 与 Cursor 可用性的邻近笔记。它们都代替不了把 ARC-AGI-3 的 harness 分差单独读清楚。
ARC Prize 结果页上的数字
页首 Semi-Private 摘要:ARC-AGI-1 在 high 推理档 94.5%,ARC-AGI-2 在 max 推理档 78.1%。ARC-AGI-3(v3)同页写明 Standard 0.2%、Provider Adapter 5.8%,均为 max reasoning。Verified scores 表 Max 行同一排列:ARC-AGI-1 93.5%,ARC-AGI-2 78.1%,ARC-AGI-3 Standard 0.2%,ARC-AGI-3 Provider Adapter 5.8%。两个 ARC-AGI-3 harness 格子对应的 High/Low/None 列为 —。
该结果页未见单独的「评测公布日」字段。读者最先看到的可见日期是模型日标签 Oct 17, 2026(同一公历日的 Asia/Shanghai 读法)。下文百分比均为 ARC Prize 自报。我们暂时还没有复测;也并非 DigIntoAI 独立实验室跑分。
两种 harness,用人话
Standard harness 按 ARC Prize 官方结果页定义:允许模型在环境中保留自选笔记并一路带着走。可以想成评测运行准许维护的便签本——观察、半成品计划、模型自己决定写下来并带进后续步骤的提醒。
Provider Adapter harness 仍按官方结果页措辞:保留请求间不透明/内部推理状态,并对较长对话做 compaction,以便复用先前工作。不只是模型故意留下的笔记,适配器路径还会跨轮次保留更多服务商侧推理残留,并压缩长上下文,免得对话变长时把前面的进度整段丢掉。
同一个检查点。同一个 max 推理旋钮。变的是步骤之间什么东西能活下来。头条 ARC-AGI-3 这一对——0.2% 对 5.8%——就是该差异在 Verified scores 表上的汇总表达。
给 DigIntoAI 读者的用词提醒:在 DigIntoAI,「harness」经常指 coding agent 外壳——token 账单、通过率表、安装指南。同一个模型换套 coding harness,通过率几乎不动,账单为什么差这么多? 就是那条成本故事。ARC 页上的 Standard/Provider Adapter 是驱动 ARC-AGI-3 环境时的评测 harness。同一个英文词,干的不是同一件事。串台之后,读榜提示会变成另一条产品通稿。
环境快照(仍是官方、仍未复测)
ARC-AGI-3 Public Demo 表每个 harness 列了 25 个环境。只点几组 Max 行对照,说明分差可以有多不均匀——不整表照抄:
| 环境 | Standard Max | Provider Adapter Max |
|---|---|---|
| FT09 | 3.4% | 91.4% |
| WA30 | 0.0% | 22.2% |
| LP85 | 2.8% | 24.5% |
| AR25 | 7.4% | 8.8% |
FT09 最夸张:Standard 贴地,Provider Adapter 跳进九十多分。WA30、LP85 从接近零/个位数前半段抬到二十多分。AR25 几乎不动(7.4% → 8.8%)——提醒适配器路径并不是每个环境都同倍率暴涨。汇总的 0.2% 对 5.8% 是这些环境上的平均故事,不是「每个任务都翻倍」的承诺,更不是日常编程产出按同一比例上涨的证据。
这些环境分也没有在本地重跑。按 ARC Prize 结果页已公布数字读取。
同一检查点——不是新发布,也不是编程跃迁
- 不是新的 DeepSeek 模型。 页标就是 DeepSeek V4.1 Flash 1017。harness 对比写在该检查点的结果页上。
- 不是披着榜单更新外衣的新权重发布。 ARC-AGI-3 这一对旁边点名的变量是 harness 配置;页头已经写了 5 harness configurations。
- 不是一般能力跃迁的证明。 从 Standard 的笔记改到 Provider Adapter 的状态+compaction,评测契约变了。ARC-AGI-3 数字可以升高,但这张许可证开不到「日常编程生产力按同样系数上涨」。
- 不是 DigIntoAI 独立计分板。 Verified scores、Semi-Private 摘要、环境 Max 格都是 官方自报。我们暂时还没有复测。
开放权重、共享 API 名 deepseek-flash,以及该检查点在 Code Arena/Vals AI/Artificial Analysis 上的排位,见先前一文 DeepSeek V4.1 Flash 1017 在 Code Arena、Vals AI 和 Artificial Analysis 上排第几。那是背景,不是 ARC harness 读法的替身。
读 ARC 结果页的短清单
- 先看模型名——模型名还不够。 「DeepSeek V4.1 Flash 1017」锁定检查点;被引用的百分比来自哪一行 harness、哪一列推理档,是另一回事。
- 再看 harness。 ARC-AGI-3 上,Standard(自选笔记)与 Provider Adapter(不透明状态+compaction)是不同评测契约。没有 harness 标签的单点引用不完整。
- 看推理档。 上面这组 ARC-AGI-3 数字在 max。同页 Semi-Private 峰值:v1 用 high(94.5%),v2 用 max(78.1%)。档位混引会造出假分差。
- 分清 ARC 代数。 ARC-AGI-1 Max 93.5%、ARC-AGI-2 Max 78.1% 与 ARC-AGI-3 harness 对坐在同一张 Verified scores 行里。它们回答的是不同基准;揉成「DeepSeek 一个分」就没了。
- 汇总 vs 环境。 头条 0.2%/5.8% 可能盖住 FT09(3.4%/91.4%)这种暴涨,也可能盖住 AR25(7.4%/8.8%)这种几乎不动。主张绑在某一环境上时,依据落在那一格。
- 自报戳记。 在另有复测之前,把这里的数字都当 ARC Prize 已公布值。我们暂时还没有复测。
小结
ARC Prize 官方结果页上的 DeepSeek V4.1 Flash 1017(页标 Oct 17, 2026,5 harness configurations)在同一 max 推理档下给出 ARC-AGI-3 Standard 0.2%、Provider Adapter 5.8%。Standard 保留模型自选笔记;Provider Adapter 保留请求间内部推理状态并对长对话做 compaction。这是同一检查点上的评测 harness 分差——不是新权重、不是新模型名,更不能从百分比差推日常编程提升。读榜时模型名、harness、推理档要对齐;coding harness 成本文属于另一条线索。以上数字为 ARC Prize 自报;我们暂时还没有复测。现场笔记可通过页脚站长联系方式反馈。
