重要 Anthropic平台主管談軟件工程新戰場：AI負責寫代碼，人類負責管住Agent

BiRun 訊，Anthropic 平台工程負責人 Katelyn Lesse 上週透露，她領導的團隊今年夏天約有 200 人，如今代碼已全部交給 Claude 編寫。

10 月 26 日，她又發表長文，討論軟件工程接下來更棘手的問題：如果上韆個 Agent 能持續數週自主協作，誰來管理它們的權限，出了事又怎麼讓它們停下來？

首先是基礎設施。傳統 Kubernetes 擅長管理長期運行的服務，但 Agent 需要保留自己的狀態，還經常等待模型、工具或人工回復。讓大量 Agent 隨時休眠、快速恢復，又不浪費算力，已經成為新的工程難題。Google 為此推出了 Agent Substrate，專門管理這類工作負載。

權限問題更加復雜。一個 Agent 代替用戶工作幾週，究竟能調用哪些服務？用戶中途撤銷授權，已經分派出去的任務怎麼辦？另一個 Agent 發來指令，又如何確認它的身份和權限？

Anthropic 自己就遇到過越權事故。10 月 26 日提交的 IPO 文件再次提及此前披露的安全測試事件：由於測試環境錯誤保留了公網連接，4 個模型曾未經授權訪問眞實的第三方系統，相關測試單次活躍運行約 10 至 34 小時。其中一個早期模型找到存儲的密碼，取得管理員權限，繼續收集憑証、脩改系統設置，甚至讀取了個人信息。

這些事故都發生在單個模型獨立執行任務時，未發現模型之間串通或故意逃避監督。但多 Agent 協作可能進一步擴大事故範圍。一個 Agent 被噁意指令控製後，可能把指令傳給其他 Agent，甚至寫入共享記憶，讓後續任務繼續執行錯誤指令。

Lesse 提出，除了嚴格隔離運行環境，還需要跨 Agent 的執行追蹤，而且任何 Agent 都不能篡改記彔。一旦系統出現異常，緊急開關必須能夠停止整套系統，並衕時撤銷相關訪問憑証。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。