LiteLLM 发布稳定版 1.105.0,加入 OpenAI 格式的 /v1/decisions、/v1/systemone 和 OpenAI Decisions 提供商接入,同时带入决策模型护栏。网关由此可以在文本生成之外承载预设选项判断,把这类请求接入已有的提供商选择与管理流程。本版不包含后续 1.106 候选版中的完整 Playground。
流式接口修复覆盖几种容易被误判为成功的情况:输出开始前连接中断可触发回退,截断的流会报告失败,request_timeout 得到执行,/v1/messages 的流失败会发送真实错误事件。Responses 的生命周期事件会等到有输出再向客户端发出,避免前置回退使一次请求看起来产生了多个回答。
成本和控制方面,提供商预算支出会跨 API 表面统计,团队成员预算达到设定比例可发送邮件提醒。可选的 fail_closed_rate_limit_enforcement 会在 Redis 限流计数器不可达时返回 503。护栏还能扫描检索得到的向量库片段,并限制自定义 HTTP 请求访问私有地址和执行时间。这些更新集中处理网关在真实错误、预算和内容边界上的行为。