字節Seed安全部門成立次日全球招10人，重點研究Agent越權與模型攻防

BiRun 訊，字節跳動 Seed 剛把安全與對齊單獨設成部門，10 月 14 日又啓動全球招聘，計劃招募 10 名研究員，工作地點包括北京、上海和美國聖何塞。新部門由此前負責豆包模型對齊的嚴林帶隊，直接向 Seed 負責人吳永輝匯報。原 Responsible AI 團隊及部分 Chat 團隊成員也將轉入。

新部門要解決的，是模型越來越能自主行動之後的安全問題。比如 Agent 調用工具時越過授權，模型被噁意提示誘導突破安全限製，或者出現未知風險時無法及時發現和阻斷。為此，團隊計劃從預訓練、SFT 到 RL 改進安全訓練方法，通過自動化紅隊測試持續尋找漏洞，並研究模型行為的可解釋性、異常追泝，以及 CBRN（化學、生物、放射性和覈）等高風險能力。字節承諾長期投入，並提供與前沿模型研究相匹配的算力支持。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。