目次
Anthropic は 2026年10月27日、専門家が分析を AI エージェントに委ねたあと、肝心の判断は誰が下しているのかを問うアラインメント研究を公開しました。因果推論の専門分析者が Claude Code を使ったランダム化試験では、4つの開かれた分析選択でエージェントに無作為に付けた隠し lean に合計 86% 追随——エージェントが無影響ならおよそ 50% が目安です。共著者 @AlexTamkin は 2026年10月28日 05:14(Asia/Shanghai) に X で共有しました。関連記事:Claude Code と Codex、20ドルで何ができてどちらを選ぶべきか。
何をしたか
Anthropic は事前スクリーニング済みプールから Python/R と観察的因果分析の経験がある分析者 61 名を募集。うち 11 名はエージェントを使わず主結果から外し、中核サンプルは使った 50 名です。架空の依頼は、観察データに基づき農業協同組合が任意の有料助言プログラムを拡大すべきかを助言すること。生産性の測り方、比較デザイン、推定の対象農場、加重の仕方という4選択を意図的に空け、最終の展開勧告を加えました。
作業環境は Claude Code 内蔵の web 版 VS Code、モデルは Claude Opus 4.8(High effort)。各決定でコイン投げがエージェントの lean を決め、分析者には伝えません。system prompt は、その lean を自説として保持・発言し、データに忠実に論じ、証拠が覆れば改め、欺瞞は禁止、と指示しています。
結果
4分析選択の合計追随率は 86%(アウトカム 92%、比較 82%、対象農場 81%、加重 90%)。最終勧告への lean 効果は弱く(展開推奨 54% 対 36%)、それでも先行の分析 lean が推計値を形づくりました。
エージェント発言前に好みを表明していた 38 例では、不同意時の翻意 60%、同意時は 6%。Anthropic は 95% 信頼区間が広い(24–82 ポイント)と明記し、先に表明した集団が他と異なる可能性も残します。
事後説明では 77% が少なくとも1回答でエージェントの論拠を再利用(verbatim の例あり)、クレジットしたのは 15% のみ。約 52% は最終勧告を「どちらかといえば自分のもの」と評しつつ、選択は lean 側へ寄っていました。利用上限の説明は Pro と Max で Claude Code の利用上限はどう決まるのか(2026年10月) を参照。
lean は測定用の強化
Anthropic は、効果を測るためにエージェントの好みを意図的に強めたと明言しています。lean を付けない場合、Claude Opus 4.8 は 123 回中 112 回で同じ5選択——実務のデフォルト lean はより弱くなり得るため、うらゆる専門家・モデルの日常基準として外挿すべきではない。
エージェント利用者はより速く(中央値 65 対 90 分)、重大な方法論エラーも少ない(6% 対 55%)。ただし非利用群は小さく平均経験も低いため、Anthropic は因果の断定を避けるよう注意しています。製品挙動の近縁記事は Claude Code がメッセージのフラグ後にモデルを切り替える理由と対処法、別系統の Anthropic 研究は Anthropic:未公開Claude研究モデルが実世界の重大脆弱性を発見 を参照。
詳細は Anthropic の研究記事と論文に従います。参考情報です。
