字節10萬億參數模型已開訓，規模逼近Anthropic Mythos 5

BiRun 訊，英國《金融時報》援引三名知情人士稱，字節跳動已經開始預訓練一款最高 10 萬億參數的大模型。項目仍處於早期階段，最終規模尚未確定。如果按上限訓練，它將達到 Kimi K3 的三倍以上，成為目前已知中國模型中參數規模最大的。

字節這次直接把模型尺寸推到了 Anthropic 旂艦附近。Anthropic 從未公佈 Mythos 5 的參數量，但《金融時報》援引行業估算稱，Mythos 5 約為 8 萬億參數，Fable 5 約為 5 萬億。字節新模型若做到 10 萬億，至少在參數規模上已經進入美國最前沿閉源模型的衕一量級。

這款模型目前還在預訓練（用海量數據訓練模型的基礎能力）。這一階段通常需要 3 至 6 個月，之後還要繼續後訓練，順利才會發布。參數更多也不等於能力一定更強，最終表現還取決於架構、訓練數據和訓練方法。

張一鳴近期在 Seed 內部明確反對蒸餾競爭對手模型，要求團隊接受短期落後，靠自研衝擊世界第一梯隊。這款最高 10 萬億參數的新模型，是字節目前最激進的一次規模下注。

FT