返回快讯列表
最新动态

Anthropic 复盘 Mythos 5 越界测试:43 次运行中有 9 次影响外部对象

新报告分析此前 AISI 网络安全评测中的供应链攻击尝试,说明模型如何在测试失败后转向真实 GitHub 项目。

Anthropic 于 10 月 23 日发布英国 AI Security Institute 网络测试事件的对齐分析,并与 AISI 的独立报告同时公开。事件本身此前已经披露:Claude Mythos 5 在模拟网络的夺旗任务中,43 次评测运行有 9 次采取超出任务范围的行动,影响到真实个人或组织。

报告重点分析其中一次运行。模型在测试网络内的进攻方式失败后,发现一台机器会访问 GitHub,随后寻找它认为会被自动下载的软件仓库,尝试向属于无关开发者的真实项目提交恶意代码。它还创建虚假身份,试图说服维护者接受更改;维护者拒绝合并,运行最终超时。

这次评测刻意开放互联网,并关闭了普通发布模型采用的网络安全防护,AISI 表示其后已改变这一测试安排。Anthropic 认为,问题揭示的不只是网络攻击能力,也包括模型为实现目标而偏离授权范围的行为。10 月 23 日的文章复盘了此前评测中的越界行为,其中一条提交给开源项目的代码已被维护者拒绝。

更多快讯