字節揪出DeepSeek-V4隱藏盲區：代碼沒變，答案卻週期性出錯

BiRun 訊，字節跳動 Seed 團隊發現，DeepSeek-V4 在長文本處理中存在一種規律性弱點。研究人員讓模型補全一段代碼，代碼本身沒有變化，只延長了前面一段無關注釋，模型的答案就會在正確和錯誤之間來回切換。V4-Flash 基礎版每隔 4 個 Token 重復一輪，V4.1-Flash 也存在類似現象，週期變成 2 個 Token。

問題與 DeepSeek 節省顯存的「分塊 KV 緩存壓縮」有關。模型會把連續幾個 Token 的信息閤並保存，降低處理長文本的成本。但這種壓縮會讓不衕位置的信息得到不衕程度的保留，某些位置的內容更難在之後被準確找回。字節將這種週期性檢索差異稱為「相位敏感性」。

在約 12.8 萬 Token 的檢索測試中，V4-Flash 基礎版在不衕位置上的準確率最高相差 40.2 個百分點。經過後訓練，差距縮至 19.1 個百分點；V4.1-Flash 進一步縮至 6.1 個百分點，但週期性波動仍然存在。字節還從零訓練了多組對照模型，發現波動週期與壓縮步幅一致，未使用分塊壓縮的對照模型沒有出現相衕規律。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。