10月26日公开的 StreamVibe 研究,面向持续观察视频并主动交互的智能体。团队指出,用户在浏览网页等过程中可能没有明确提问,却已产生“下一步点哪里”的意图;随着画面与需求变化,系统还需要及时更新判断,决定是否以及何时回应。
研究首先提出 StreamVibe-Bench,包含约4100个评估样本和8.5万个训练样本,分别覆盖明确表达、需要推断和持续变化的意图。基于这一任务设计,StreamVibe-VL 从连续观察中推断隐式需求,再按意图变化调整交互内容,不把每一帧都当作独立的问答输入。
配套 StreamVibe-Harness 使用分层记忆,把用户意图作为具有生命周期的持久状态,同时跟踪环境变化。论文报告,相比所测基线,模型的响应时机和答案质量得到改善,加入运行框架后持续交互也更一致。其评估重点是交互时机与需求适配,既保留一般视频理解,也把“该不该开口”纳入测试。