AWS 于 10 月 16 日分享基于 Amazon Bedrock AgentCore 的九阶段评测框架，用于内部销售业务的多 Agent 系统。团队发现，普通可用性监控难以发现答案质量下降：测试中曾把四百余美元收入写成四百余百万美元，也出现指标标签错误和自行编造年经常性收入。系统仍能正常响应，延迟和错误率却无法说明这些答案是否可信。
框架把质量定义、版本实验、合并回归、发布门槛、灰度评分、对抗测试、线上漂移、实时状态与自动反馈串成一个持续循环。检查同时覆盖工具、单个 Agent 和多 Agent 编排三个层级，各层需要自己的标准样本、评估器与晋级条件。除内容质量外，安全、性能、成本和运维控制也贯穿整个周期，避免某个子任务悄然污染最终汇总。
技术组合以 AgentCore Evaluations 为核心，配合 Guardrails、CloudWatch、存储和自定义评估函数。文章还举出一次发布配套变更不同步的预生产测试，通过率从百分之七十八降至百分之三十八，显示模型、数据、工具和提示词必须一起评估。这些数字来自 AWS 自己的系统案例，反映了发布过程中的具体质量风险。