分析:國內大模型進入「尷尬期」:訓練算力、推理成本和價格成三大難題
BiRun 訊,Max For AI 發文稱,國內大模型目前正進入一段「尷尬期」,覈心挑戰集中在訓練算力、推理資源和商業定價三個方面。
其表示,隨着國內廠商持續擴大模型規模,5T、8T 甚至 10T 參數規模開始被討論,但訓練算力的增長速度可能難以跟上模型規模擴張,算力正逐漸成為現實限製。阿裡巴巴此前在雲棲大會上提到,未來可能訓練 5T 至 10T 參數規模的模型,Kimi、GLM 等廠商也在繼續推進大規模模型。
在推理端,大模型訓練完成並不意味着能夠長期穩定地向大規模用戶提供服務。Max For AI 稱,部分大模型上綫初期運行速度較快,但隨後可能出現限速、排隊和額度收緊等情況,反映出推理算力仍是重要瓶頸。隨着模型規模擴大,每增加用戶額度都意味着更高的實際推理成本。
此外,模型規模和推理成本上昇也可能迫使廠商調整價格,而國內大模型此前的重要競爭優勢之一正是開源和性價比。其認為,在 Agent 時代單次任務消耗 Token 增加後,價格敏感度可能進一步提昇,國內廠商需要在模型效果、推理成本和商業定價之間重新尋找平衡。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
其表示,隨着國內廠商持續擴大模型規模,5T、8T 甚至 10T 參數規模開始被討論,但訓練算力的增長速度可能難以跟上模型規模擴張,算力正逐漸成為現實限製。阿裡巴巴此前在雲棲大會上提到,未來可能訓練 5T 至 10T 參數規模的模型,Kimi、GLM 等廠商也在繼續推進大規模模型。
在推理端,大模型訓練完成並不意味着能夠長期穩定地向大規模用戶提供服務。Max For AI 稱,部分大模型上綫初期運行速度較快,但隨後可能出現限速、排隊和額度收緊等情況,反映出推理算力仍是重要瓶頸。隨着模型規模擴大,每增加用戶額度都意味着更高的實際推理成本。
此外,模型規模和推理成本上昇也可能迫使廠商調整價格,而國內大模型此前的重要競爭優勢之一正是開源和性價比。其認為,在 Agent 時代單次任務消耗 Token 增加後,價格敏感度可能進一步提昇,國內廠商需要在模型效果、推理成本和商業定價之間重新尋找平衡。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊