返回快讯列表
开发者动态

Replit 发布 ViBench 2.0,顶级模型完整交付通过率仍为49%至65%

新基准从空项目连续追加需求,包含17款产品、241项功能和544份浏览器测试计划,公开八款产品供复现。

Replit 于10月28日发布 ViBench 2.0,评估智能体能否从空项目开始,逐步做出完整软件产品。基准参考打车、代码托管与在线文档等产品,包含17款产品、241项功能请求和544份测试计划。智能体先根据短规格做出初版,再在自己写下的代码上增加最多18项功能,必须处理早期架构决定给后续需求带来的约束。

测试覆盖干净数据库部署、已有数据变化、金额分摊、过期状态与并发等问题。最终由评分智能体在真实浏览器内点击、输入和核对结果。官方采用 Fireworks 的统一运行结果,每个模型对17款产品各构建四次;GPT-6.1 Sol 的完整构建通过率为65%,GPT-6 Astra 为60%,Opus 5.5 为49%。三者单项测试计划通过率均超过90%,说明少数遗漏仍可能使整款产品未通过。

八款产品已按 Harbor 格式公开在 GitHub,其余九款保留作测试。发布版提供运行框架和复现入口,并纳入 Fireworks 的 Specialized Intelligence Index。成本和耗时也被列入比较:Sol 每次构建约12美元,Astra 约90美元;Opus 5.5 每次构建平均约70分钟,耗时约为 GPT-6.1 Sol 的40%;Replit 指出差距主要来自 API 服务速度。

更多快讯