返回快讯列表
大模型前沿

Cloudflare 发布 Clef-omni,让决策模型直接处理音频与视频

Clef-omni 在文字与图像之外接收音频、视频,按给定选项返回概率;权重以 Apache 2.0 开放,同期 Clef 与 Clef-flash 更新速度和价格。

Cloudflare 发布 Clef-omni,把音频和视频输入加入 Clef 决策模型家族。此前的 Clef 已能读取图片与视频帧数组,新模型进一步接收 WAV、MP3、MP4 和 WebM,应用可以把带声音的视频直接交给同一次模型调用,减少先转写、再拆分画面和声音的串联步骤。

模型卡说明,Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 后训练,在一次前向计算中为各个问题的允许选项打分,再按问题转换为概率。它的目标是分类、路由和结构化判断,接口兼容 Jev 与 SystemOne;模型输出不需要再从一段自由文本中解析答案。

权重按 Apache 2.0 发布。官方验证环境使用单张 H200、torch 2.11 与 Transformers 5.10.2,BF16 主干约需 64 GB 显存,音视频读取还需要 av。托管 Clef-omni 输入价为每百万 token 0.15 美元。同期 Clef-flash 输入价降到 0.038 美元,托管上下文从 64k 缩到 24k;自行部署权重的上下文支持不随此调整。

更多快讯