北京时间 2026 年 10 月 23 日,OpenAI 工程博文发布系列第二篇(Part II)。OpenAI 产品经 Habitat 访问在线数据;底层主要是 Azure Cosmos DB 与缓存等。这篇在可靠性之后主攻读性能。读请求占 Habitat 流量九成以上。分层做法:容量允许时把数据放近用户;只对最小、最吃延迟的数据集广域复制;其余用靠近计算侧的 Valkey 旁路缓存,并用 Cosmos change feed/CDC 在数秒内失效;再用 Rust 重写 Habitat 服务,降低代理开销。
这些改动把全局读 p50 约从 120 ms 降到约 10 ms——自 2026 年早些时候聚焦性能以来约 12 倍。最慢请求仍可能未命中缓存、跨远区拉取。同文也谈多租户:共享物理分区上的 noisy neighbor、热 key 限流与 QoS——是缓解手段,不是「干扰已全部消除」。
同文写明:团队在建自研 EB 级在线存储,面向大块 Habitat 类型,组合 RocksDB Cloud 与基于 Raft 的复制;仍在建设中,文档模型类似 Cosmos,用分离式存储换容量——不是 Cosmos/Habitat 已全面替换。相关文章见:Agents API Scheduled Automations:显示 completed 不等于做完、OpenAI 收紧前沿模型训练环境的隔离、Codex for Open Source 向开源维护者提供六个月 ChatGPT Pro。
至于业务上 Habitat 延迟如何、所在区域能否就近放存储,以及自研 EB 级系统上线后体验怎样,我们还没有这方面的消息。用过的话,可以通过网站底部的站长联系方式反馈给我们。
