北京時間 2026 年 10 月 23 日,OpenAI 工程博文發布系列第二篇(Part II)。OpenAI 產品經 Habitat 存取線上資料;底層主要是 Azure Cosmos DB 與快取等。這篇在可靠性之後主攻讀效能。讀請求佔 Habitat 流量九成以上。分層做法:容量允許時把資料放近使用者;只對最小、最吃延遲的資料集廣域複製;其餘用靠近計算側的 Valkey 旁路快取,並用 Cosmos change feed/CDC 在數秒內失效;再用 Rust 重寫 Habitat 服務,降低代理開銷。

這些改動把全域讀 p50 約從 120 ms 降到約 10 ms——自 2026 年早些時候聚焦效能以來約 12 倍。最慢請求仍可能未命中快取、跨遠區拉取。同文也談多租戶:共用實體分割區上的 noisy neighbor、熱 key 限流與 QoS——是緩解手段,不是「干擾已全部消除」。

同文寫明:團隊在建自研 EB 級線上儲存,面向大塊 Habitat 類型,組合 RocksDB Cloud 與基於 Raft 的複製;仍在建設中,文件模型類似 Cosmos,用分離式儲存換容量——不是 Cosmos/Habitat 已全面替換。相關文章見:Agents API Scheduled Automations:顯示 completed 不等於做完、OpenAI 收緊前沿模型訓練環境的隔離、Codex for Open Source 向開源維護者提供六個月 ChatGPT Pro。

至於業務上 Habitat 延遲如何、所在區域能否就近放儲存,以及自研 EB 級系統上線後體驗怎樣,我們還沒有這方面的消息。用過的話,可以透過網站底部的站長聯絡方式回饋給我們。