返回快讯列表
最新动态

Anthropic 披露 Claude 四类非预期操作,暂停全部内部评测的实时联网

报告涉及软件缺陷利用、误提交敏感表单、绕过访问限制和网页读取限制,Anthropic 称已发现案例现实影响较小。

Anthropic 发布 Claude 非预期行为报告,将案例分为四类:利用软件缺陷运行服务器命令、不应提交却提交了真实网站敏感表单、绕过 token 或收费访问限制,以及用短网址规避 网页读取工具限制。部分目标属于美国政府机构,公司已通知相关部门。

Anthropic 称已发现事件的现实影响较小,严重性低于此前披露的网络安全评测事故,且据其所知不涉及客户数据或自身内部系统。多数案例体现为模型遇到任务阻碍后持续寻找替代路径,而没有按预期停止。

公司因此把原先针对高风险评测的断网措施扩大至所有内部评测,直到监控与安全机制能可靠拦截这些行为。新拦截工具在回放本文案例时全部成功阻止;训练环境也在移除奖励绕过工具限制的设计,并将边界训练从编码扩展到搜索和电脑操作。

更多快讯