10月23日公开的 WorldCast 论文,把角色视频生成的难题聚焦到大角度镜头控制。镜头围绕人物旋转、移动或改变距离时,原图里未出现的身体区域会暴露出来,容易导致几何变形、外观退化和身份漂移。团队同步提出 CLACT 数据集与基准,覆盖多种大角度相机轨迹及多视角角色观测。
方法先根据估计深度,把起始画面反投影成三维点云,再将点云尺度与目标相机轨迹对齐。沿轨迹渲染后,模型获得明确的几何引导和覆盖掩码,用来区分已经可见与仍缺少信息的区域,而非只依赖文本描述控制镜头。
为补充角色信息,WorldCast 加入 Geometry-Aligned Memory Attention,把多视角角色参考与目标画面放入共同坐标系,再按视角检索并注入外观特征。论文评估覆盖从任意起始方位旋转、平移和改变半径的轨迹,分别考察相机对齐,以及角色几何、外观和身份的保持。