返回快讯列表
开发者动态

LiteLLM 1.105 接入 Decisions API,补齐流式失败与预算控制

稳定版增加 /v1/decisions 与 /v1/systemone,支持决策模型护栏;更新流式错误处理、跨接口预算统计,以及 Redis 限流故障时的拒绝策略。

LiteLLM 发布稳定版 1.105.0,加入 OpenAI 格式的 /v1/decisions、/v1/systemone 和 OpenAI Decisions 提供商接入,同时带入决策模型护栏。网关由此可以在文本生成之外承载预设选项判断,把这类请求接入已有的提供商选择与管理流程。本版不包含后续 1.106 候选版中的完整 Playground。

流式接口修复覆盖几种容易被误判为成功的情况:输出开始前连接中断可触发回退,截断的流会报告失败,request_timeout 得到执行,/v1/messages 的流失败会发送真实错误事件。Responses 的生命周期事件会等到有输出再向客户端发出,避免前置回退使一次请求看起来产生了多个回答。

成本和控制方面,提供商预算支出会跨 API 表面统计,团队成员预算达到设定比例可发送邮件提醒。可选的 fail_closed_rate_limit_enforcement 会在 Redis 限流计数器不可达时返回 503。护栏还能扫描检索得到的向量库片段,并限制自定义 HTTP 请求访问私有地址和执行时间。这些更新集中处理网关在真实错误、预算和内容边界上的行为。

更多快讯