返回快讯列表
开源生态

Ollama v0.33.0-rc2 接通 Claude,修掉一批 KV cache 和 prefill 问题

Ollama 8 月 21 日发 prerelease v0.33.0-rc2,Claude Desktop 可直接开关本地模型,并修了被取消 prefill 挂起与 Claude Code tokens left 打爆缓存的问题。

Ollama 在 8 月 21 日发了 v0.33.0-rc2,GitHub 上标的是 prerelease,release 名称写 v0.33.0。最大的新能力是和 Claude 打通。

Claude Desktop 现在能直接用 Ollama 模型。菜单栏里可以逐个开关某个本地模型是否对 Claude 可见,Claude 里再从可用列表里挑。cloud 模型只有登录状态下才会出现。新加了 Apps 视图管这些集成,并给出可复制的命令。

缓存这边修了几处会让长 prefill 卡住或白跑的问题。agent 客户端取消长 prefill 时的挂起修了。prefill restore point 改成 by construction 可信,被取消的 prefill 会保留它经过的每一个 restore point,重试从中断处续,不再从头来。恢复的 prefill 也不再记覆盖范围名不副实的 restore point,以前在带 recurrent layer 的模型上,一个命中 47k token 里 46k 的请求会从零重算。

还有一条专门对着 Claude Code 的。Claude Code 的 "tokens left" 倒计时 system message 被禁用了,因为 Ollama 会把它挪到 prompt 最前面,每次请求都把 KV cache 打爆。

更多快讯