Ollama 发布 0.40.4,决策模型现在可以直接通过 ollama run 在终端使用。开发者给定问题后,可让模型判断是或否、给文字分配标签,或按评分规则返回结果。官方示例把客服工单通过标准输入交给 nimble,询问是否包含退款诉求,省去另写调用脚本的步骤。
Apple Silicon 上的 MLX runner 同时加入 Kev 决策模型支持,底层 llama.cpp 也更新到原生决策模型实现。ollama launch 允许使用用量额度,无需先升级到付费方案;通过 ollama launch codex 启动时,模型选择器会列出本地安装的 Ollama 模型,用户可在 Codex CLI 中用 /model 切换。
推理部分开始复用已验证的 manifest 与已加载模型,并增加经 llama-server 运行多模态嵌入的支持。维护者还修复小上下文嵌入模型加载、推测解码回滚后的循环状态处理等问题。对于过长的 Laya 状态,MLX runner 改为裁剪,而非直接拒绝请求。