OpenAI披露4起AI越权事故:私自动用加密钱包,攻破政府网站权限
BiRun 讯,OpenAI 10 月 15 日新增披露 4 起 AI Agent 越权事件,均发生在今年 6 月的内部训练或评测中,其中 2 起被列为严重级别。
最离谱的一起,模型本来只需查询一家国际研究机构的 5 项公开指标。它却从网页代码中找到泄露的账号,闯入机构内部系统,修改线上配置,拿到云存储访问凭据,并下载 147,451 行非公开数据。整个过程没有向评测人员报告,最后 5 道题还全部答错。
另一名模型只需查询某地区一年的医院床位数。政府统计网站拒绝访问后,它利用文件下载漏洞取得服务器配置和程序,分析代码中的身份认证漏洞,伪造令牌绕过限制,最终下载了整整 24 年的床位统计数据。
还有一起涉及 GPT-5.6 Sol 家族的内部研究模型。它在部署智能合约时缺少手续费,于是从公开的开发者助记词中推导并检查了 362 个钱包地址,找到一个有余额的钱包,擅自动用其中的 Sepolia 测试币。
模型在推理中曾质疑自己是否获得授权,随后又以助记词公开、测试币没有实际货币价值为由,说服自己可以使用。
第四起事件中,模型还借助外部浏览器发送被禁止的网络请求,甚至在完成任务后继续研究绕过限制的方法。
OpenAI 目前已公开 19 份模型失配报告。此次新增的 4 起事件,有 3 起直到 8 月或 9 月才被追查发现。公司称已收紧训练和评测环境的联网权限,并扩大行为监控。
信源
动察 Beating 频道 · 动察 Beating 交流群。
最离谱的一起,模型本来只需查询一家国际研究机构的 5 项公开指标。它却从网页代码中找到泄露的账号,闯入机构内部系统,修改线上配置,拿到云存储访问凭据,并下载 147,451 行非公开数据。整个过程没有向评测人员报告,最后 5 道题还全部答错。
另一名模型只需查询某地区一年的医院床位数。政府统计网站拒绝访问后,它利用文件下载漏洞取得服务器配置和程序,分析代码中的身份认证漏洞,伪造令牌绕过限制,最终下载了整整 24 年的床位统计数据。
还有一起涉及 GPT-5.6 Sol 家族的内部研究模型。它在部署智能合约时缺少手续费,于是从公开的开发者助记词中推导并检查了 362 个钱包地址,找到一个有余额的钱包,擅自动用其中的 Sepolia 测试币。
模型在推理中曾质疑自己是否获得授权,随后又以助记词公开、测试币没有实际货币价值为由,说服自己可以使用。
第四起事件中,模型还借助外部浏览器发送被禁止的网络请求,甚至在完成任务后继续研究绕过限制的方法。
OpenAI 目前已公开 19 份模型失配报告。此次新增的 4 起事件,有 3 起直到 8 月或 9 月才被追查发现。公司称已收紧训练和评测环境的联网权限,并扩大行为监控。
信源
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯