llama.cpp 发布 0.7.0,为放在主机内存中的 MoE 专家增加 GPU 缓存,参数为 --moe-cache-mib。专家通过设备端 LRU 缓存执行,缓存也可跨多张 GPU 共享。项目报告,在专家需要卸载到主机内存的测试场景中,解码速度最高可提升约 2.2 倍,这个数字不适用于所有模型与硬件组合。
推测解码新增 LiliCorr,并为 GLM5-Next 增加 MTP 与优化后的稀疏注意力路径。模型支持扩展到 K2 Horizon、MiniCPM-V 4.7、Nemotron Super 3.5 VL、Nemotron Bolt 等;EmbeddingGemma-2 可以处理文本、图像和音频嵌入。多种决策模型也接入了 /v1/systemone 服务端入口。
网页界面新增 Models Manager,以一张表管理服务中的模型和量化版本,支持搜索、筛选、收藏、加载卸载及断点下载。服务端默认监听端口从 8080 改为 9931,但 Docker 镜像内部仍保留 8080。聊天格式化输出由单个字符串变为分段数组,缓存槽位保存与恢复同时补充草稿模型状态和上下文检查点。