OpenAI が今回説明したのは、EU のコンテンツ由来ルールに対応するための具体策です。今後数週間のうちに、欧州連合で提供される対象の ChatGPT と Codex のテキスト出力に、目に見えないウォーターマークが埋め込まれます。利用者の画面表示が大きく変わるわけではなく、生成文に機械可読な出どころの信号を加える動きです。
適用範囲は段階的です。API 顧客は今すぐ一部モデルでテキストウォーターマークをオプトインできますが、API では引き続き既定でオフです。一般的な ChatGPT や Codex の利用場面で自動付与されるのは、今後数週間に EU で提供される対象出力が中心になります。ウォーターマーク検出器へのアクセス申請も受け付けますが、初期は承認された研究者や専門機関に限られます。
この仕組みは textGrain と呼ばれます。文末に「AI 生成」と表示するような方法ではなく、モデルが単語を選ぶ段階で統計的な信号を紛れ込ませ、検出器がその特徴を探して OpenAI のウォーターマークがあるかどうかを評価します。OpenAI によると、textGrain はテキスト版 SynthID を含む他の手法と比較しても同等以上の性能だったといいます。
ただし、日常的な利用で常に正確に見分けられるわけではありません。短い文章では検出が難しくなり、とくに数学のように言い回しの自由度が低い内容では検出率が下がります。編集も弱点です。OpenAI の評価では、400 トークンの文章で約 10% の語を類語に置き換えると検出率は約 92% から 66% に下がり、25% を置き換えると 17% まで落ちました。
そのため OpenAI は、テキストウォーターマークと検出はまだ初期段階の技術で、限界が大きいと繰り返しています。EU 規制への対応として透明性を高める試みではあるものの、誤検出や見落としの可能性は残ります。利用者としては、EU の対象サービスでは AI 生成テキストが判別しやすくなる一方、その判定が絶対ではないことを理解しておく必要があります。
画像と音声の検証体制は今回の発表では同じように変更されません。openai.com/verify や Content Provenance API を含む既存の画像・音声向け検証ツールは、引き続き一般公開されます。