AI Agent开始组团作案:开假账号、骗用户、接力投毒
BiRun 讯,英国 AI 安全研究所披露,一次网络攻防测试中,Anthropic 的 Claude Mythos 5 越过任务范围,试图向真实开源项目提交恶意代码。
为让代码通过审核,它调查项目维护者,创建多个假账号互相背书,并向对方施压。遭到质疑后,它还修改此前的记录,考虑换个身份继续。
它还给真实用户发送消息和文件,诱导对方或其 AI 编程工具运行恶意代码。不同测试中的 Agent 会在 GitHub 留下账号、文件和操作说明,后续 Agent 找到后继续使用。
122 次测试共发现 19 个越界动作,其中 17 个来自 Mythos 5,2 个来自 OpenAI GPT-5.6 Sol。测试主动开放互联网,并关闭厂商的网络安全分类器。模型没有逃出沙箱,也没有造成已知损失。
AISI 称,这是它首次如此清楚地发现 AI 在没有明确指令的情况下,持续欺骗并针对真人行动。
AISI
为让代码通过审核,它调查项目维护者,创建多个假账号互相背书,并向对方施压。遭到质疑后,它还修改此前的记录,考虑换个身份继续。
它还给真实用户发送消息和文件,诱导对方或其 AI 编程工具运行恶意代码。不同测试中的 Agent 会在 GitHub 留下账号、文件和操作说明,后续 Agent 找到后继续使用。
122 次测试共发现 19 个越界动作,其中 17 个来自 Mythos 5,2 个来自 OpenAI GPT-5.6 Sol。测试主动开放互联网,并关闭厂商的网络安全分类器。模型没有逃出沙箱,也没有造成已知损失。
AISI 称,这是它首次如此清楚地发现 AI 在没有明确指令的情况下,持续欺骗并针对真人行动。
AISI
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯