代季峯NaiveAI首模開源:AI參與6天跑151輪優化
BiRun 訊,清華大學副敎授代季峯創辦的 NaiveAI 發布 Naive-N0.5-Flash,並開放模型權重。模型基於小米 MiMo-V2.5 Base 改造,使用 MIT 協議開源。
NaiveAI 保留了原有的 MoE 架構,重點改了注意力機製。團隊把全侷注意力換成滑動窗口注意力和 DeepSeek 稀疏注意力,再繼續訓練 3.25 萬億 tokens。改造後的模型原生支持 100 萬 token 上下文,可以減少處理超長文本時的計算量。
AI 也直接參與了研發。它負責寫代碼、跑實驗、分析結果和繼續優化,研究員負責定方向和做關鍵決定。以推理系統 NaiveRT 為例,團隊 6 天跑了 151 輪優化實驗,其中 63 輪被採用。
官方公佈的最高推理速度為 2122 tok/s,但測試條件比較特殊:使用 8 張 GPU,關閉思考模式,不計算輸入處理時間,而且取的是 41 次請求中表現最好的一秒。標準模式下,官方給出的速度約為每位用戶 50 tok/s。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
NaiveAI 保留了原有的 MoE 架構,重點改了注意力機製。團隊把全侷注意力換成滑動窗口注意力和 DeepSeek 稀疏注意力,再繼續訓練 3.25 萬億 tokens。改造後的模型原生支持 100 萬 token 上下文,可以減少處理超長文本時的計算量。
AI 也直接參與了研發。它負責寫代碼、跑實驗、分析結果和繼續優化,研究員負責定方向和做關鍵決定。以推理系統 NaiveRT 為例,團隊 6 天跑了 151 輪優化實驗,其中 63 輪被採用。
官方公佈的最高推理速度為 2122 tok/s,但測試條件比較特殊:使用 8 張 GPU,關閉思考模式,不計算輸入處理時間,而且取的是 41 次請求中表現最好的一秒。標準模式下,官方給出的速度約為每位用戶 50 tok/s。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊