Cursor重排GPU流水綫，MoE模型訓練提速41%

BiRun 訊，Cursor 開源 Mixture-of-Kittens（MoK），用於加速 MoE 大模型訓練。它把原本分開的 GPU 數據傳輸和計算，閤進一個 kernel（直接在 GPU 上運行的底層程序）。

MoE 會把模型拆成大量「專家」，每次只調用其中一部分。專家分散在不衕 GPU 上，數據需要頻繁搬運，有時會佔掉一半以上的訓練時間。

MoK 讓 GPU 一邊傳數據，一邊做計算，減少等待。在 512 塊 GB300 GPU 的實際訓練中，整體吞吐提高 41%。單獨測試 MoE 層時，最高比公開方案快 2.37 倍。

MoK 已用於 Cursor 數萬塊 GPU 的 Composer 訓練，並以 Apache 2.0 開源。目前只支持英偉達 Blackwell GPU，主要面向擁有 GB200、GB300 NVL72 集羣的機構。

Cursor