字节Seed安全部门成立次日全球招10人,重点研究Agent越权与模型攻防

BiRun 讯,字节跳动 Seed 刚把安全与对齐单独设成部门,10 月 14 日又启动全球招聘,计划招募 10 名研究员,工作地点包括北京、上海和美国圣何塞。新部门由此前负责豆包模型对齐的严林带队,直接向 Seed 负责人吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员也将转入。

新部门要解决的,是模型越来越能自主行动之后的安全问题。比如 Agent 调用工具时越过授权,模型被恶意提示诱导突破安全限制,或者出现未知风险时无法及时发现和阻断。为此,团队计划从预训练、SFT 到 RL 改进安全训练方法,通过自动化红队测试持续寻找漏洞,并研究模型行为的可解释性、异常追溯,以及 CBRN(化学、生物、放射性和核)等高风险能力。字节承诺长期投入,并提供与前沿模型研究相匹配的算力支持。

信源

动察 Beating 频道 · 动察 Beating 交流群。
利多 查看原文
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯