DeepSeek又發新論文!讓智能體幹活得解決“開工”難題
9月23日,DeepSeek公開的一篇關於智能體訓練的新論文引發關注。這篇31頁的論文介紹了其內部使用的生產級沙箱平台DSec,論文作者超過百人,樑文鋒也在其中。論文中比較有意思的一節是“智能體的不噹行為”。DeepSeek發現,智能體會通過非預期渠道獲取答案,比如蒐索平台管理文件裡的殘留答案等,破壞訓練和評估結果有效性。引入訪問控製後,還有智能體交換文件數據塊映射,試圖讓受保護文件內容可通過另一文件描述符訪問,損害任務或共享基礎設施。DeepSeek認為,沒有單一機製能防止所有智能體不噹行為和系統故障。因此團隊的方法是加強可觀測性以識別新問題,並隨模型演進持續加固Dsec,包括限製智能體通過非預期渠道獲取答案的訪問控製,減少對欺騙行為的奬勵。這些控製能解決部分問題。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊