本文目錄

OpenAI 與專注酵素設計的生技公司 Ligo 推出 BioBasicsBench,以來自真實實驗的 100 項任務評測 AI 如何分析原始數據。OpenAI 文章標註日期為 2026 年 11 月 6 日。它關注證據解讀、錯誤辨識,以及能否承認證據不足,而不是能否自主完成實驗。

評測的是什麼

任務使用凝膠影像、顯微影像、儀器讀數等材料,涵蓋蛋白質方法、成像與細胞術、定量與測定、核酸方法、分子選殖五個領域。科學家為問題編寫專家評分標準,任務經過內部與外部評審。

回答按照評分標準逐項得分,包括結論、數值、推理,以及是否辨識出證據不足。因此,部分合理的分析也可能獲得部分分數。數據類型與技能標籤可以重疊,不能把分類計數相加當作任務總數。

66.7% 不是成功率

據 OpenAI 報告,在 xhigh 推理設定下,GPT-6 Astra 的 mean reward 為 66.7%,95% 信賴區間為 60.3–73.1%;GPT-5.6 Sol 為 43.8%,區間為 37.6–50.0%。

mean reward 指平均任務得分占可得分的比例,不是正確完成任務的比例,也不是成功率。完整評測涵蓋七個模型、37 種模型與推理設定組合,每種組合對全部 100 項任務各嘗試 5 次,合計 18,500 個結果,而非 18,500 項獨立任務。

高分仍不等於可靠的實驗室判斷

OpenAI 同時展示了假設壓過對照證據、忽略與偏好解釋相矛盾的觀察、菌落計數錯誤等失敗案例。這些問題說明,更高的基準分數不等於已經能在實驗室可靠判斷。這項評測不能證明 AI 可以取代實驗人員。

Orchestra Bio 收購與 Rosalind 動向可作為 OpenAI 生物研究布局的背景,但與本次評測是不同事件。

這些是 OpenAI 報告的評測結果,我們尚未獨立重現。