研究团队于 10 月 23 日介绍 Mundo 世界模型:输入同一地点的多视角照片或视频,系统建立场景的三维代理,再把物体移动、抽屉开合或机器人动作模拟为该场景中的视频。项目将可控的物理状态与生成画面结合,提供交互式案例展示工作流程。
Mundo 先恢复相机与几何信息,用三维边界框表示主要物体,再由视觉语言模型 Agent 反复修改场景程序、渲染并与输入图像比较。独立审阅 Agent 检查各个视角,数值优化负责细化位置、尺寸与朝向;程序则记录质量、摩擦等物理参数,通常交给 MuJoCo 计算碰撞、接触和机器人操作。
模拟结果被渲染成代理帧,再与原始照片一起引导视频扩散模型,保留地点外观与运动约束。用户可以通过同一场景程序添加物体、更换物理属性或移动相机。作者同时说明,边界框适合粗粒度摆放与刚体模拟,精细接触需要额外几何。