返回快讯列表
工具上新

Nemotron 3.5 Lightning 免费接入 Vercel AI Gateway,提供百万 token 上下文

该模型由 NVIDIA 提供推理服务,支持工具调用与结构化输出,官方同时提示输入可能用于模型改进。

Vercel 于 10 月 14 日在 AI Gateway 上提供免费的 Nemotron 3.5 Lightning 入口,模型标识为 nvidia/nemotron-3.5-lightning-free,由 NVIDIA 提供服务。开发者可以通过现有网关密钥调用,无须为这一入口另外接入模型供应商账号。公告将它定位于持续运行的 Agent、子 Agent、聊天机器人和 RAG 系统。

Nemotron 3.5 Lightning 是开放权重的推理与聊天模型,总参数为 30B,每个 token 激活约 3B 参数。其混合专家架构交错使用 Mamba-2、MoE 和少量注意力层,提供 1M token 上下文,并支持工具调用和结构化输出。网关已覆盖 AI SDK、Chat Completions、Responses 与 Messages 等调用接口,也可以把使用网关的编程 Agent 连接到这一模型。

Vercel 同时保留用量与成本追踪、请求追踪、重试和故障切换等网关能力。团队还可以按接口密钥设置预算,并通过路由规则控制请求走向,在统一入口管理不同应用的模型调用。Claude Code、Codex、Cursor 等工具可通过 Vercel CLI 的网关设置流程选择该模型。免费入口仍有数据处理边界:公告明确说明供应商可能保留提示词用于改进模型。

更多快讯