萬億參數也救不了髒數據，國內大模型開始返工預訓練

BiRun 訊，雷峯網稱，過去大半年，多家國內大模型廠商開始重做預訓練，問題都指向數據。

一家廠商曾花近一年訓練萬億參數模型，實際效果卻被參數量只有約 1% 的小模型反超。團隊最後發現，問題出在訓練數據。網頁垃圾、重復語料、低質量標注混進訓練集，再大的模型也喫不消。該案例來自匿名信源，具體公司尚未公開。

騰訊混元已經公開重做了一輪。今年 2 月起，團隊重建預訓練和強化學習基礎設施。此前媒體曾披露，老混元存在打榜數據混入訓練集、標注規則混亂等問題。新團隊重新定數據標準，清洗原有語料，Hy3 也把數據質量和多樣性列為主要改進項。

阿裡和百度也在加碼數據治理。Qwen3 用 Qwen2.5 系列模型清洗文檔，還大量補充數學和代碼閤成數據。文心 4.5 則加入去重、低質量過濾、數據地圖和人工復覈。兩家公司沒有公開說自己曾因髒數據返工，但新一代模型都把更多功夫花在了數據處理上。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。