返回快讯列表
最新动态

Anthropic 披露 Claude 自评监测,以不到 2% 的推理开销筛查滥用

系统在回复后复用对话缓存生成安全判断,主要用于离线复核;官方明确它不能独立抵御定向攻击。

Anthropic 于 10 月 16 日介绍 self-assessment,让 Claude 在完成回复后,对刚处理的整段对话生成一份简短安全评估。结果包括是否涉及潜在有害请求、风险类别、人工审查优先级,以及判断理由。额外评估不会显示给用户,也不会进入后续对话上下文,而是为生产环境的离线复核提供线索。

因为原对话仍在 KV 缓存中,评估只需追加一小段指令与少量输出。Anthropic 估计,在其生产 API 流量分布下,新增推理计算量低于百分之二。在 Claude Fable 5 上,以更强的提示词分类器作为参考、误报率设为百分之一时,自评系统能够标记该参考分类器认定的百分之七十八潜在有害对话,以及百分之九十四高优先级对话。这些比例衡量与参考分类器的一致覆盖,不能当作人工确认的全部真实风险检出率。

公司表示,自 Fable 5 起发布的模型已在大部分全球流量上采用这一监测层,用于发现异常聚集并安排进一步调查。它在生产环境中是被动离线监测,不负责直接阻断请求;定向绕过实验也暴露了明显弱点。Anthropic 同时承认,训练和评估依赖同一教师分类器,其盲点可能一并传给自评模型,因此仍需其他实时保护与后续人工审查配合。

更多快讯