返回快讯列表
大模型前沿

WorldCast 研究大角度角色视频生成,用三维几何记忆保持外观一致

10月23日公开的 WorldCast 提出 CLACT 数据集与几何对齐记忆机制,针对镜头绕行、移动和距离变化时的角色失真与身份漂移。

10月23日公开的 WorldCast 论文,把角色视频生成的难题聚焦到大角度镜头控制。镜头围绕人物旋转、移动或改变距离时,原图里未出现的身体区域会暴露出来,容易导致几何变形、外观退化和身份漂移。团队同步提出 CLACT 数据集与基准,覆盖多种大角度相机轨迹及多视角角色观测。

方法先根据估计深度,把起始画面反投影成三维点云,再将点云尺度与目标相机轨迹对齐。沿轨迹渲染后,模型获得明确的几何引导和覆盖掩码,用来区分已经可见与仍缺少信息的区域,而非只依赖文本描述控制镜头。

为补充角色信息,WorldCast 加入 Geometry-Aligned Memory Attention,把多视角角色参考与目标画面放入共同坐标系,再按视角检索并注入外观特征。论文评估覆盖从任意起始方位旋转、平移和改变半径的轨迹,分别考察相机对齐,以及角色几何、外观和身份的保持。

更多快讯