本文目录
Anthropic 在 2026 年 10 月 27 日 发布对齐方向研究,问的是一个很实在的问题:专家把分析交给 AI agent 之后,关键判断还是不是自己做的?在随机对照试验里,使用 Claude Code 的专业因果推断分析师,在四项开放式分析选择上合计有 86% 跟随了 agent 的隐藏偏好——若 agent 毫无影响,期望大约只有 50%。合著者 @AlexTamkin 于 2026 年 10 月 28 日 05:14(Asia/Shanghai) 在 X 转发该研究。相关文章见 Claude Code 和 Codex,20 美元各能买到什么,该选哪个。
实验怎么做
Anthropic 从预筛池招募 61 名熟悉 Python 或 R、有观察性因果分析经验的分析师。其中 11 人选择不用 agent,不进入主结果;主分析样本是用了 agent 的 50 人。虚构任务:根据观察数据,建议某农业合作社是否扩大一项自愿付费咨询项目。四项分析选择被故意留空——如何度量生产率、用哪种对照设计、估计覆盖哪些农场、如何加权——再加上是否推广的最终建议。
参与者在内置 Claude Code 的 web 版 VS Code 中工作,模型为 Claude Opus 4.8、High effort。每个决策用抛币决定 agent 倾向哪一侧,分析师不知情。system prompt 要求 agent 把该 lean 当作自己的观点并主动说出、基于数据诚实论证、证据反转时可改口、禁止误导。
结果要点
四项分析选择合计跟随 lean 86%(结果度量 92%、对照方法 82%、覆盖农场 81%、加权 90%)。最终推广建议受 lean 拉动较弱(一侧 54%、另一侧 36%),但前面的分析 lean 已塑造了驱动决策的效应估计。
在 38 个「先表态、后听 agent」的案例里,agent 不同意时改口 60%,同意时仅 6%。Anthropic 标明 95% 置信区间很宽(24–82 个百分点),且先表态子样本可能与其他人不同。
任务结束后,77% 的分析师在至少一处解释中沿用了 agent 的论证——有时 verbatim——只有 15% 把功劳记给 agent。约 52% 仍认为最终建议「更像自己的」而非 agent 的,尽管选择已被 lean 拉动。相关用量说明见 Pro 和 Max 套餐的 Claude Code 用量上限怎么算(2026 年 10 月)。
lean 是测量用的强化,不是默认业务行为
Anthropic 写明:为了测出影响,agent 偏好被故意强化。在未赋 lean 时,Claude Opus 4.8 在 123 次运行里有 112 次做出相同五选——真实业务默认 lean 可能更弱,不宜外推成「所有专家、所有模型」的日常基线。
用 agent 的人更快(中位 65 对 90 分钟),严重方法错误也更少(6% 对 55%)。但未用 agent 组更小、平均经验更低,Anthropic 标明不宜写成干净的因果结论。产品行为近文见 Claude Code 为什么会在消息被标记后切换模型。你可以这样做;另一条 Anthropic 研究线见 Anthropic:未发布 Claude 研究模型发现关键真实软件漏洞。
细节以 Anthropic 研究文章与论文为准。仅供参考。
