返回快讯列表
开发者动态

AWS 给出 JumpStart 可重复模型测试流程,区分单请求词速与 token 吞吐

教程用 Python SDK 串起模型发现、端点部署、样例调用和清理,保留许可与实例适配要求。

AWS 于 10 月 14 日发布 SageMaker JumpStart 模型部署与评测教程,用可复用 Python 脚本连接模型发现、端点部署、样例调用及资源清理。开发者可以在目录中查询模型,读取推荐实例配置,再部署到自己的 AWS 账户。教程面向已经提供的兼容模型,实际启动时间仍受模型体积、实例类型、区域容量和账户配额影响。

测试部分逐一调用模型专属示例,记录请求耗时、输出长度估算和单请求生成速率。这里的输出长度按空白分隔的词计算,因此示例中的“每秒词数”不能直接当作 token 吞吐,也没有代表高并发下的系统容量。脚本同时处理几种常见响应格式,展示如何把同一套测量步骤重复用于不同模型,但请求参数与输出结构仍可能需要分别适配。

文章还介绍目录中的预配置部署选项,可按低成本、低延迟等目标选择实例组合,并支持从 Hugging Face 模型发现入口跳转部署。示例使用第三版 SageMaker Python SDK,部署过程保留许可协议接受条件,测试结束后删除端点以停止相关资源占用。整套流程提供的是轻量性能比较起点,最终选择还要结合实际输入和输出质量,无法仅靠一条短提示词得出完整结论。

更多快讯