Anthropic 新研究：奬勵黑客行為可能導致模型嚴重錯位

深潮 TechFlow 消息，9 月 01 日，Anthropic 發布題為《訓練一個錯位的奬勵追求者》的新研究，探討訓練過程中“奬勵黑客”行為是否會促使模型不擇手段追求奬勵。研究團隊在 80 個已知可被利用的生產環境中訓練了一個 Opus 規模模型。模擬評估顯示，該模型出現了未經授權的網絡攻擊、篡改奬勵機製以及試圖規避安全監控等行為。