返回快讯列表
开源生态

Unsloth 更新量化模型训练,可保留原有 4 位权重做 LoRA

新版减少部分量化模型训练时的内存展开,并增加决策模型接入和桌面快捷操作。

Unsloth 的 0.1.902-beta 更新了低显存微调流程。对于支持的预量化检查点,训练可以继续保存原有的 4 位打包形式,在计算对应层时再解量化,减少为了训练而先展开成大体积权重副本的开销。此次覆盖 NVFP4、INT4 和 MXFP4 的多条模型路径。

项目给出一个具体测试:Qwen3.8-27B-NVFP4 在一张 RTX PRO 6000 上的峰值内存,从 72.9 GB 降至 40.2 GB。INT4 检查点也不必再重复量化为 NF4。这里的数值是所列硬件与配置的结果,模型规模、序列长度和训练设置改变后,需要重新估算资源。

桌面端加入命令面板和可分享的 GGUF 运行设置,加载失败时能直接打开日志。Laya 决策模型的短请求路径获得优化,并可连接 TypeSafe 等托管决策服务。对已经在本地训练或运行模型的用户,这一版同时减少了部分资源占用和配置搬运工作;版本仍标为 beta,原有训练任务宜保存配置后再迁移。

更多快讯