目次

OpenAIと酵素設計に取り組むバイオ企業Ligoは、実験の生データを扱う100課題からなる評価基盤BioBasicsBenchを公開した。OpenAIの記事の日付は2026年11月6日。測るのは証拠の解釈、誤りの発見、結論を支える証拠が足りない場合の認識であり、実験を自律的に遂行する能力ではない。

何を評価するのか

入力にはゲル画像、顕微鏡画像、装置の測定値などを使う。領域はタンパク質関連手法、イメージングとサイトメトリー、定量とアッセイ、核酸関連手法、分子クローニングの五つ。科学者が設問と専門家による採点基準を作り、内部と外部で課題をレビューした。

回答には、結論、数値、推論、証拠不足の認識など、採点基準の各項目に応じて点数が付く。一部が妥当な分析には部分点がある。データ形式や技能の分類は重複するため、分類ごとの件数を足して課題総数にはできない。

66.7%の意味

OpenAIによると、推論設定xhighでのGPT-6 Astraのmean rewardは66.7%、95%信頼区間は60.3–73.1%。GPT-5.6 Solは43.8%で、区間は37.6–50.0%だった。

mean rewardは、各課題の得点を獲得可能な点数に対する割合で表した平均値だ。課題を正しく完了した割合、つまり成功率ではない。 評価全体では七つのモデル、モデルと推論設定の37通りについて、100課題を各5回試した。計18,500件は評価結果の数であり、独立した課題の数ではない。

高得点でも残る不確実性

OpenAIは、思い込みが対照の解釈を上書きする、反証となる観察を軽視する、コロニーを数え違えるといった失敗も示している。高い点数だけで実験室における判断の信頼性が確立するわけではない。今回の研究は、実験を担う科学者の代替を示すものではない。

Orchestra Bio買収とRosalindの動きはOpenAIの生物研究を知る背景になるが、この評価基盤とは別の出来事だ。

数値はOpenAIによる評価結果で、独立した再現検証はまだ行っていない。