腾讯研究作者于10月26日在 Hugging Face 介绍 HiSTEVE 1.0,对应论文已于10月22日公开。这是一套用于 Minecraft 的分层视觉语言动作智能体,尝试把长时间自主规划与原生键鼠控制结合起来,只通过画面观察游戏,不依赖特权游戏状态或环境 API。
上层运行框架使用结构化记忆追踪进度,并由视觉语言规划器选择动作模型能力范围内的子任务。团队还加入与动作策略上下文关联的完成状态检测器,帮助系统判断何时推进、恢复或重新规划。下层由单一 VLA 执行各类任务,分别处理第一人称动作和图形界面交互。
训练结合世界知识注入、模仿学习和环境反馈强化学习。论文报告在 MineStudio Bench 达到85.0%的原子任务成绩,在 OpenHA 的平均成功率为37.4%,并展示从零制作铁镐等长程任务。