返回快讯列表
开发者动态

每秒七千万次请求:OpenAI 公开 ChatGPT 背后的存储架构

OpenAI 介绍支撑 ChatGPT、Codex 等产品的 Habitat,从早期 Python 客户端库演进为跨区域在线存储平台。

OpenAI 9 月 11 日发表工程文章,介绍在线存储平台 Habitat 的扩展过程。该平台负责让 ChatGPTCodex 和其他产品快速获取所需数据,最初在 2023 年作为连接单一数据库的 Python 客户端库上线,随后演进为分布式服务。

按 OpenAI 披露,Habitat 当前每秒处理超过七千万次请求,服务的数据规模超过五百 PB,覆盖近四十个地理区域,支撑每周被超过十亿人使用的产品。上述数字属于企业对自身基础设施的描述,不应据此推算单一产品的付费用户或收入。

文章围绕 Python 服务运行、事件循环延迟、连接池、负载分配以及避免压垮下游资源展开,同时讨论存储层优化与向 Rust 迁移。对构建 Agent 平台的团队,这份分享更值得关注的是数据访问层如何约束请求和保护下游,而不是只把它当成一次模型算力扩张新闻。

更多快讯