返回快讯列表
开发者动态

NVIDIA 公布语音微调 Agent Skills,航空管制识别给出分阶段实验

工作流串联实验规划、NeMo 微调与评估;Nemotron 航空测试词错误率从 77% 降至 22.46%,精调权重仍待发布。

NVIDIA 介绍两套配合使用的语音 Agent Skills:nemotron-asr-finetune 负责界定目标与安排实验,NeMo 的 nemo-speech-asr-finetune 负责具体训练和离线评估。它们帮助编程 Agent 准备数据、生成兼容配置并比较结果;研究人员仍需决定预算、数据许可和是否继续迭代,安装技能本身也不会安装完整训练环境。

团队以航空管制无线电识别为例,先用较大规模、机器标注的领域语音适配,再用少量人工标注数据精调,并在两阶段混入通用英语数据。Nemotron 3.5 ASR 在两小时 ATCO2 人工标注测试集上的词错误率从 77.00% 降到 22.46%,相对减少 70.8%;通用英语错误率则从 3.50% 小幅升至 3.63%。

实验另外区分训练、开发与测试用途,使用开发集选择检查点,避免靠测试成绩挑模型。文章也测试了无需改声学权重的 n-gram 语言模型,改善幅度较小,不能替代领域适配。Gold 精调后的 Nemotron 与 Parakeet 检查点计划后续开放,目前发布的是技能、实验方法和演示,不是这些权重已经可以下载。

更多快讯