返回快讯列表
开源生态

llama.cpp b11559 改进 OpenCL,Gemma-4 小模型可用 GPU 解码

新构建扩展 Gemma-4 E4B 与 E2B 的 OpenCL GPU 解码,并优化部分 GQA 解码路径;邻近构建修复量化权重图像超过设备限制的回退。

llama.cpp 发布 b11559 预发布构建,主要改动落在 OpenCL 后端。PR #30266 为 Gemma-4 E4B 启用 GPU 解码,并继续扩展到 E2B,同时优化 DK64 GQA8 和 DK128 GQA4 解码路径。对通过 OpenCL 运行本地模型的设备,这次更新增加的是特定模型和注意力配置的执行支持。

邻近的 b11558 修复了另一组 OpenCL 边界:Q4_K 权重图像超过设备限制时能够回退,rms_norm 避免产生不完整的子组,并调整稠密二进制内核条件和 Q4_0 广播操作。两组改动分别处理可运行的解码路径与量化内核正确性,影响范围取决于实际设备、模型和量化格式。

发行页提供 CPU、CUDA、Vulkan、ROCm、SYCL 与移动设备等多平台构建,其中也列出 Windows ARM64 的 OpenCL Adreno 包,以及 Snapdragon 的 Android 和 Linux 组合包。开发者使用预编译包时仍应对应自己的后端;本次 OpenCL 改动不会让其他后端自动获得相同的实现变化。b11559 的发布包覆盖 Windows ARM64、Android ARM64 与 Linux ARM64,移动和桌面端使用者都能按对应平台取得构建。

更多快讯