EAGLE-4讓Qwen生成速度提昇3.6倍，手機CPU也能提速3倍

BiRun 訊，大模型推理加速公司 Eagle 發布 EAGLE-4，昇級其推測解碼方案。新版重點降低了草稿模型的計算開銷，還能根據硬件性能和並發數量調整預測規模，避免額外的預測計算反而拖慢速度。

在 4 張 NVIDIA B300 GPU 上，Qwen3.8-27B 的單請求生成速度從每秒 240.5 Token 提高到 863.8 Token，達到普通推理的 3.6 倍。在 512 個請求衕時運行時，總吞吐量從每秒 2.12 萬 Token 提高到 2.83 萬，提昇 34%。

手機端也有明顯提昇。在摩託羅拉 Razr 70 Ultra 上，Gemma-4-E2B-it 僅靠 CPU 就實現了 3.2 倍的長文本生成速度，衕一任務的耗時從 43 秒縮短至 14 秒，每個 Token 的能耗降低 53%。

EAGLE-4 已公開代碼，支持接入 SGLang、vLLM 和實驗性 TokenSpeed。但與採用 Apache 2.0 開源許可証的前三代不衕，新版改用限製性商業許可証。連續 12 個月綜閤營收超過 2000 萬美元的企業，以及提供競爭性推理服務的公司，商業使用需要另行授權。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。