返回快讯列表
大模型前沿

OpenAI 发布 LifeVal,评估 AI 处理日常生活任务的能力

评测覆盖照护、教育、家庭事务、购物等领域,任务来自时间使用研究和用户调查。

OpenAI 发布 LifeVal,试图衡量 AI 助手在实际生活事务中的表现,而不只看知识问答或考试成绩。评测任务覆盖照护、健康、教育、家庭管理、个人财务、购物和公共服务等领域。

团队表示,任务设计参考了美国和跨国时间使用研究,并补充了一项包含 3995 名受访者的调查,以了解人们最希望个人助手帮忙完成哪些事情。公开案例包括比较幼儿园、组织洪水准备志愿者,以及协助安排家庭生活。

OpenAI 称过去一年一直用这套评测观察模型变化,并将浏览器、计算机操作和连接器视为完成任务的一部分。评测结果反映特定任务设置,不能替代用户对医疗、财务等实际决策的判断。研究希望让评测更贴近日常事务,也更关注助手是否能够完成用户提出的具体任务。

更多快讯