返回快讯列表
工具上新

Hugging Face 推出 Llama Windows,托盘里就能下载并运行本地模型

免费开源的 Windows 11 应用封装 llama.cpp,提供模型推荐、共享缓存及本地 OpenAI 兼容接口。

Hugging Face 推出 Llama Windows,把 llama.cpp 放进 Windows 11 的系统托盘。用户从推荐列表选择量化模型,一键下载后便能本地运行,不需要先开终端、编译源码或取得管理员权限。应用是 macOS 版 llama.app 的 Windows 对应产品,首发支持 Windows on Arm 和 NVIDIA RTX Spark。

界面采用原生 WinUI3,点击托盘图标会打开小面板,Alt+Space 可以唤起聊天浮层。推荐模型会标出参数量、磁盘大小和是否支持视觉输入;已经下载的模型则在另一个面板中加载、卸载,并连接 llama.cpp 的网页聊天界面。应用启动时会连接已有服务器,或者管理自己的 llama.cpp 实例。

开发者可以复用同一个本地服务:默认地址为 localhost:9931,提供 OpenAI 兼容 API,自己的脚本与 Agent 能调用界面中加载的模型。下载文件使用标准 Hugging Face 缓存,避免同一模型重复占用空间;设置中也能添加访问令牌以使用受限或私有仓库,并将模型缓存移到其他磁盘。模型推理留在本机,下载完成后的使用不依赖云端推理服务。

更多快讯