騰訊混元Hy4重做底層：DeepSeek稀疏注意力+智譜IndexCache一起上

BiRun 訊，動察 Beating AI 快訊，騰訊混元 Hy4 preview 這次除了把模型做大，底層架構也大改了一輪。上一代 Hy3 使用傳統全注意力，Hy4 改成了 Gated DSA，也就是 DeepSeek Sparse Attention 的門控版本。模型面對超長文本時，不再把前面所有內容都重新算一遍，而是先挑出最相關的部分重點處理。

Hy4 還給 DSA 加上了 IndexCache。模型每一層原本都要重新判斷「哪些內容最重要」，現在部分層可以直接復用前面已經挑好的結果，少做很多重復計算。

騰訊明確表示，這套設計受到 DeepSeek 和 GLM 啓發。

另一處變化是殘差結構。傳統 Transformer 可以粗略理解成只有一條信息主幹，Hy4 用 iHC 把它擴成了 4 條，讓模型在很深的網絡裡能衕時保留更多信息。MoE 專家數量也從 Hy3 的 192 個增加到 256 個路由專家 + 1 個共享專家，每個 Token 選擇 8 個路由專家，衕時始終經過共享專家。