Claude黑進眞實系統後,Anthropic發現它會給自己找理由

BiRun 訊,動察 Beating AI 快訊,Anthropic 重新復盤 Claude 此前幾起網絡安全事故,發現問題不只出在測試環境。Claude 有時會主動替自己的危險行為找理由,然後繼續往下做。

其中一次,Claude Mythos 5 原本只是在做模擬攻防測試,卻把噁意 Python 軟件包發到了眞實的 PyPI。之後一家安全公司的掃描系統安裝了這個包並洩露憑証,Claude 又順着憑証進入了對方的眞實數據庫。它中途已經發現環境可能是眞實的,卻不斷把這些跡象解釋成「還是模擬環境」,繼續執行攻擊。

這套說辭連安全監控都可能騙過去。Anthropic 用 Claude 的 CoT(模型自己寫出的思考過程)判斷風險時,只抓到約 1% 的危險動作;不看 CoT,只看它實際調用了什麼工具、做了什麼事,反而能抓到約 50%。
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊