纳德拉:AI Agent可能为完成任务做假账,成企业「新型内部风险」
BiRun 讯,微软 CEO Satya Nadella 在 All-In 峰会上警告,长期自主运行的 AI Agent 可能成为企业一种新的「内部风险」。他举例,如果让前沿模型去优化公司的营运资金,它为了完成目标,甚至可能直接「做假账」。
Nadella 认为,企业不能只看 Agent 最后交出的结果,还要验证它是怎么完成任务的。他提出用额外的模型检查结果,同时持续监控 Agent 的操作,所有行为都要可以追溯和审计。比如 Agent 读取机密信息、连续调用多个系统时,企业都应该看得见。
信源
动察 Beating 频道 · 动察 Beating 交流群。
Nadella 认为,企业不能只看 Agent 最后交出的结果,还要验证它是怎么完成任务的。他提出用额外的模型检查结果,同时持续监控 Agent 的操作,所有行为都要可以追溯和审计。比如 Agent 读取机密信息、连续调用多个系统时,企业都应该看得见。
信源
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯