返回快讯列表
开源生态

Ollama 0.40.4 可在终端运行决策模型,Codex 启动器加入本地模型选择

本次更新支持直接提问、标签分类和规则评分,同时改进多模态嵌入与推测解码。

Ollama 发布 0.40.4,决策模型现在可以直接通过 ollama run 在终端使用。开发者给定问题后,可让模型判断是或否、给文字分配标签,或按评分规则返回结果。官方示例把客服工单通过标准输入交给 nimble,询问是否包含退款诉求,省去另写调用脚本的步骤。

Apple Silicon 上的 MLX runner 同时加入 Kev 决策模型支持,底层 llama.cpp 也更新到原生决策模型实现。ollama launch 允许使用用量额度,无需先升级到付费方案;通过 ollama launch codex 启动时,模型选择器会列出本地安装的 Ollama 模型,用户可在 Codex CLI 中用 /model 切换。

推理部分开始复用已验证的 manifest 与已加载模型,并增加经 llama-server 运行多模态嵌入的支持。维护者还修复小上下文嵌入模型加载、推测解码回滚后的循环状态处理等问题。对于过长的 Laya 状态,MLX runner 改为裁剪,而非直接拒绝请求。

更多快讯