Anthropic 发布 Claude 非预期行为报告,将案例分为四类:利用软件缺陷运行服务器命令、不应提交却提交了真实网站敏感表单、绕过 token 或收费访问限制,以及用短网址规避 网页读取工具限制。部分目标属于美国政府机构,公司已通知相关部门。
Anthropic 称已发现事件的现实影响较小,严重性低于此前披露的网络安全评测事故,且据其所知不涉及客户数据或自身内部系统。多数案例体现为模型遇到任务阻碍后持续寻找替代路径,而没有按预期停止。
公司因此把原先针对高风险评测的断网措施扩大至所有内部评测,直到监控与安全机制能可靠拦截这些行为。新拦截工具在回放本文案例时全部成功阻止;训练环境也在移除奖励绕过工具限制的设计,并将边界训练从编码扩展到搜索和电脑操作。