本文目录

OpenAI 与专注酶设计的生技公司 Ligo 推出 BioBasicsBench,用来自真实实验的 100 项任务评测 AI 如何分析原始数据。OpenAI 文章标注日期为 2026 年 11 月 6 日。它关注证据解读、错误识别,以及能否承认证据不足,而不是能否自主完成实验。

评测的是什么

任务使用凝胶图像、显微图像、仪器读数等材料,覆盖蛋白方法、成像与细胞术、定量与测定、核酸方法、分子克隆五个领域。科学家为问题编写专家评分标准,任务经过内部与外部评审。

回答按照评分标准逐项得分,包括结论、数值、推理,以及是否识别出证据不足。因此,部分合理的分析也可能获得部分分数。数据类型与技能标签可以重叠,不能把分类计数相加当作任务总数。

66.7% 不是成功率

据 OpenAI 报告,在 xhigh 推理设置下,GPT-6 Astra 的 mean reward 为 66.7%,95% 置信区间为 60.3–73.1%;GPT-5.6 Sol 为 43.8%,区间为 37.6–50.0%。

mean reward 指平均任务得分占可得分的比例,不是正确完成任务的比例,也不是成功率。完整评测覆盖七个模型、37 种模型与推理设置组合,每种组合对全部 100 项任务各尝试 5 次,合计 18,500 个结果,而非 18,500 项独立任务。

高分仍不等于可靠的实验室判断

OpenAI 同时展示了假设压过对照证据、忽略与偏好解释相矛盾的观察、菌落计数错误等失败案例。这些问题说明,更高的基准分数不等于已经能在实验室可靠判断。这项评测不能证明 AI 可以替代实验人员。

Orchestra Bio 收购与 Rosalind 动向可作为 OpenAI 生物研究布局的背景,但与本次评测是不同事件。

这些是 OpenAI 报告的评测结果,我们尚未独立复现。