返回快讯列表
行业动态

Anthropic 出 500 万美元资助独立评测,测 AI 对用户身心健康的影响

Anthropic 8 月 25 日宣布拿出 500 万美元,资助外部研究者建开源评测,衡量 AI 对使用者身心健康的影响,申请 9 月 21 日截止,进入完整提案阶段的 10 月 5 日前通知。

Anthropic 8 月 25 日宣布拿出 500 万美元,资助外部研究者建开源评测,衡量 AI 模型对使用者身心健康的影响。除了钱,还给模型访问权限和技术支持。

条件写得很硬。受资助者完全独立工作,成果必须以开源项目形式发布,任何开发者都能拿去用。申请 9 月 21 日截止,进入完整提案阶段的会在 10 月 5 日前收到通知。招募对象点名了临床医生、心理学家和方法学家。

Safeguards 团队在文里列了对评测的五条要求。说清楚测的是什么,什么算通过、什么算失败,以及为什么这件事重要。把临床和学科专家拉进设计与验证环节。两个方向一起测,既测过度合规带来的伤害,也测过度拒答。贴近真实使用,通常意味着多轮对话中风险逐步升级、语境不断偏移。用真实的学科专家去校验自动评分器。

Anthropic 举的例子挺具体。有人在痛苦中求助,未必会在对话一开始就说出自伤念头。同一套饮食和运动建议,对一般人合理,对有进食障碍史的人可能不恰当甚至造成实际伤害。行业目前对这类场景没有形成共识,这也是它想用资助补上的缺口。

正文没有说单个项目的资助额度、计划支持多少个项目,也没有公布评审委员会的构成。

更多快讯