返回快讯列表
工具上新

Vercel AI Gateway 增加置信度回退,低把握的判断可交给另一模型

决策请求可以按置信度或概率范围触发后备模型,原有处理调用错误的回退方式继续保留。

Vercel 为 AI Gateway 的决策模型请求增加条件回退能力。当首个模型的答案触发预设置信条件时,网关可以把判断升级交给后备模型。此前常见回退主要处理调用失败或服务不可用,这次则把模型返回了答案、但把握不足的情况纳入路由规则,适用于工单分类、筛选和评分等任务。

开发者可以组合多个条件。选择题和评分题支持置信度判断,是非题则按概率范围触发;配置加入后备模型列表即可,不配置的请求保持原有行为。官方示例先调用 Jev 判断工单意图,当指定问题的置信度低于阈值时再交给更强的模型处理。

这种设计允许大部分明确样本走较快的模型,把额外成本集中在模糊样本上。不过,阈值代表的是模型提供的信号,仍需用业务样本校准,不能直接解释为现实中的正确率。上线时应观察哪些类别频繁升级、升级后结果是否更准确,以及总调用次数和耗时如何变化,才能判断回退规则是否真正适合当前业务。

更多快讯