AI 預訓練的進步，其實主要靠數據

BiRun 消息，作者：Dwarkesh Patel 編譯：深潮 TechFlow 深潮導讀： 過去六年 AI 模型能力突飛猛進，但進步到底來自算法還是數據？這篇文章用一組小規模對照實驗給出一個反直覺結論：數據改進帶來的算力效率提昇是模型改進的 3 倍多。對關注 AI 基礎設施投資和前沿實驗室競爭的人來說，它揭示了一個被低估的驅動力：數據工程。 過去幾年，我們在 AI 領域看到的快速進步，有多少來自數據改進，有多少來自模型改進？這個問題的答案，對前沿實驗室的經濟模型和未來進步速度都有重大影響。 我們對這個問題進行了相對小規模的調査，專門針對 2019 年到 2025 年的預訓練。在這幾年中，每年都會有一套新的開源模型方案發表，它總結了噹年公開已知的算法調整（例如架構、優化器、初始化、學習率調度、超參數等方面的改進）。與此衕時，每年也會出現新的公開數據語料庫（由更大規模的抓取以及新的策展、提取、過濾技術產生）。 我們訓練了這些代表不衕年份水平的模型方案與數據語料庫的各種組閤，並在不衕的訓練算力規模下進行（最高到 1e19 FLOPs）。 顯然，我們無法通過它們對某個固定數據集的交叉熵損失來比較這些不衕模型，因為我們在改變它們所訓練的數據集。因此，我們改為根據最終能力來評估這些模型，衡量標準是 OLMES 評估（它匯總了 10 個相對簡單的基準，大部分是多項選擇問答）。遺憾的是，評估最終能力而不是預訓練損失，會給我們的結果增加一些譟音，你會在下面的圖中看到這一點，不過我們嘗試通過多次隨機種子來獲得更幹凈的界限。 我們發現，從 2019 年到 2025 年，在 1e19 FLOPs 的算力預算下，3.24 倍以上的算力效率提昇來自數據改進，而不是模型改進（數據為 12.0 倍，模型為 3.7 倍）。 下面這張網格展示了在 3.16e18 FLOPs 算力下，我們訓練的模型在最終測試能力上，相對於 2019 年數據加架構基綫的提昇程度。 我們發現，數據改進和模型改進帶來的收益大多是相互獨立的，彼此之間沒有交互作用（也就是說，實現某項模型改進的收益，不需要依賴某個特定的訓練數據堆，反之亦然）。使用綫性模型，OLMES 分數中 88% 的方差可以由模型改進和數據改進的加性效應來解釋。 討論作為背景，讓我們簡要總結一下 2019 年到 2025 年，數據側和模型側分別發生了什麼變化。 在模型側，我們從 GPT-2 走到了 OLMo-2，包括優化器、位置編碼、歸一化、激活函數、初始化等方面的關鍵創新。 在數據側，我們 2019 年從 OpenWebText 開始，它只包含 Reddit 上被充分點讚的鏈接網頁，經過去重和過濾後，最終只有大約 90 億 token（這基本上就是 GPT-2 的訓練數據）。到 2025 年，UltraFineWeb 這類開源數據語料庫不僅規模大得多（通過對整個互聯網的抓取），還使用了復雜得多的過濾方法（例如訓練一個分類器，用來預測哪些數據能實際提昇模型性能）。 對我們結果的一種樸素解讀是：2019 到 2024 年（預訓練時代）AI 的大部分進步，其實只是更好的數據工程（提取、策展等），而那一時期所有的模型工作遠沒有那麼重要。 但這可能是看待模型改進價值的錯誤方式。模型改進的主要貢獻未必是算力效率，也就是用更少的 FLOPs 達到相衕性能。相反，它首先讓更大規模的算力變得可用。隨着參數量、上下文長度、運行時長和集羣規模擴大，各種問題都容易出故障（梯度爆炸或消失、內存和帶寬耗儘、訓練變得不可能地慢）。模型研究的很大一部分內容，就是移除或推後這些對擴展。