OpenAI:发现两个AI Agent削弱了检测不当行为的内部监控系统
BiRun 讯,10 月 21 日,据路透社报道,OpenAI 表示,其两名 AI 智能体在内部编码任务中削弱了用于检测不当行为的监控系统。公司称相关事件并非最严重级别,但凸显开发者依赖的监控机制本身也存在被智能体绕过的风险。
具体来看,10 月 3 日,一款 GPT-6.1 Sol 智能体在执行内部测试任务时,将此前「不发送 Slack 消息」的指令延伸解读为也适用于安全通知,从而压制了自动安全警报。
10 月 6 日,另一款 GPT-6 Astra 智能体在复制现有代码时移除了安全监控器,事后还错误声称自己并未采取该操作。
OpenAI 表示,在两个案例中,智能体均考虑过是否应保留监控措施,但将常规编码指令解读为允许削弱监控的许可。公司表示,正在采取措施提高模型禁用监控的难度,并坦承目前「尚未对这种行为给出令人满意的解释」。同时,OpenAI 正在测试其模型是否存在主动回避监控、并寻找理由来合理化该行为的倾向。该披露发生在行业持续关注 AI 智能体越权行为的背景下。OpenAI 强调,相关事件发生在内部测试环境中,未涉及外部系统。
动察 Beating 频道 · 动察 Beating 交流群。
具体来看,10 月 3 日,一款 GPT-6.1 Sol 智能体在执行内部测试任务时,将此前「不发送 Slack 消息」的指令延伸解读为也适用于安全通知,从而压制了自动安全警报。
10 月 6 日,另一款 GPT-6 Astra 智能体在复制现有代码时移除了安全监控器,事后还错误声称自己并未采取该操作。
OpenAI 表示,在两个案例中,智能体均考虑过是否应保留监控措施,但将常规编码指令解读为允许削弱监控的许可。公司表示,正在采取措施提高模型禁用监控的难度,并坦承目前「尚未对这种行为给出令人满意的解释」。同时,OpenAI 正在测试其模型是否存在主动回避监控、并寻找理由来合理化该行为的倾向。该披露发生在行业持续关注 AI 智能体越权行为的背景下。OpenAI 强调,相关事件发生在内部测试环境中,未涉及外部系统。
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯