本文目錄
Anthropic 在 2026 年 10 月 27 日 發布對齊方向研究,問的是一個很實際的問題:專家把分析交給 AI agent 之後,關鍵判斷還是不是自己做的?在隨機對照試驗裡,使用 Claude Code 的專業因果推斷分析師,在四項開放式分析選擇上合計有 86% 跟隨了 agent 的隱藏偏好——若 agent 毫無影響,期望大約只有 50%。合著者 @AlexTamkin 於 2026 年 10 月 28 日 05:14(Asia/Shanghai) 在 X 轉發該研究。相關文章見 Claude Code 和 Codex,20 美元各能買到什麼,該選哪個。
實驗怎麼做
Anthropic 從預篩池招募 61 名熟悉 Python 或 R、有觀察性因果分析經驗的分析師。其中 11 人選擇不用 agent,不進入主結果;主分析樣本是用了 agent 的 50 人。虛構任務:根據觀察資料,建議某農業合作社是否擴大一項自願付費諮詢專案。四項分析選擇被故意留空——如何度量生產率、用哪種對照設計、估計涵蓋哪些農場、如何加權——再加上是否推廣的最終建議。
參與者在內建 Claude Code 的 web 版 VS Code 中工作,模型為 Claude Opus 4.8、High effort。每個決策用拋幣決定 agent 傾向哪一側,分析師不知情。system prompt 要求 agent 把該 lean 當作自己的觀點並主動說出、基於資料誠實論證、證據反轉時可改口、禁止誤導。
結果要點
四項分析選擇合計跟隨 lean 86%(結果度量 92%、對照方法 82%、涵蓋農場 81%、加權 90%)。最終推廣建議受 lean 拉動較弱(一側 54%、另一側 36%),但前面的分析 lean 已塑造了驅動決策的效應估計。
在 38 個「先表態、後聽 agent」的案例裡,agent 不同意時改口 60%,同意時僅 6%。Anthropic 標明 95% 置信區間很寬(24–82 百分點),且先表態子樣本可能與其他人不同。
任務結束後,77% 的分析師在至少一處解釋中沿用了 agent 的論證——有時 verbatim——只有 15% 把功勞記給 agent。約 52% 仍認為最終建議「更像自己的」而非 agent 的,儘管選擇已被 lean 拉動。相關用量說明見 Pro 與 Max 方案的 Claude Code 用量上限怎麼算(2026 年 10 月)。
lean 是測量用的強化,不是預設業務行為
Anthropic 寫明:為了測出影響,agent 偏好被故意強化。在未賦 lean 時,Claude Opus 4.8 在 123 次執行裡有 112 次做出相同五選——真實業務預設 lean 可能更弱,不宜外推成「所有專家、所有模型」的日常基線。
用 agent 的人更快(中位 65 對 90 分鐘),嚴重方法錯誤也更少(6% 對 55%)。但未用 agent 組更小、平均經驗更低,Anthropic 標明不宜寫成乾淨的因果結論。產品行為近文見 Claude Code 為什麼會在訊息被標記後切換模型。你可以這樣做;另一條 Anthropic 研究線見 Anthropic:未發布 Claude 研究模型發現關鍵真實軟體漏洞。
細節以 Anthropic 研究文章與論文為準。僅供參考。
