NVIDIA 于 10 月 20 日介绍 Cosmos3-H-Dreams,把交互式生成仿真从桌面缝合推进到临床手术场景。模型学习 CMR Surgical Versius 平台上的胆囊切除视频与同步机器人运动记录,在初始图像和器械操作的条件下,生成随动作变化的体内画面。
系统基于一百六十亿参数 Cosmos3-H-Embodied-Nano,训练时使用左右器械的位置、姿态、夹爪及其他控制信号,共二十八个动作维度。团队通过教师微调与 Self-Forcing 蒸馏得到四步和两步学生模型,再配合 FlashDreams 流式推理,可在单张 NVIDIA RTX PRO 6000 上交互运行,供研究者比较速度与视觉质量。
发布包含模型检查点及适配自有同步视频和控制数据的训练配方。官方明确,画面逼真只是验证起点,并不是生物力学准确性的证明;还需要检查器械是否服从控制、组织变化是否连贯及长序列中结构是否稳定。该系统用于生成式手术模拟研究,尚未验证可用于患者照护。