字節Seed單列AI安全部門:嚴林直報吳永輝,重點防範Agent越權
BiRun 訊,動察 Beating AI 快訊,字節跳動 Seed 宣布將成立獨立的安全與對齊部門(Model-Alignment & Preparedness),由豆包大模型對齊方向負責人嚴林帶隊,直接向 Seed 負責人吳永輝匯報。原 Responsible AI 團隊及部分 Chat 團隊成員將轉入新部門。
新部門的重點,是讓模型在能力增強後仍能遵守安全和授權要求。除了防止聊天回答越界,還要確保 Agent 在調用工具、執行任務時不會擅自行動,並防範 CBRN(化學、生物、放射性和覈)領域的高風險能力被濫用。團隊將負責製定模型規範、開展安全評估與對齊訓練、建立防護和風險監控機製,並引入外部研究機構及第三方評測。
新部門的重點,是讓模型在能力增強後仍能遵守安全和授權要求。除了防止聊天回答越界,還要確保 Agent 在調用工具、執行任務時不會擅自行動,並防範 CBRN(化學、生物、放射性和覈)領域的高風險能力被濫用。團隊將負責製定模型規範、開展安全評估與對齊訓練、建立防護和風險監控機製,並引入外部研究機構及第三方評測。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊