張一鳴:Seed訓練數據少幾個數量級,字節最早2029年才能與OpenAI、Anthropic競爭
BiRun 訊,動察 Beating AI 快訊,張一鳴近日在 Seed 團隊全員會上給出了一個時間表:字節跳動最快也要到 2029 至 2030 年,才有望在前沿 AI 領域與 OpenAI、Anthropic 競爭。
張一鳴特別指出,Seed 大語言模型使用的預訓練數據集,比頂尖對手小了幾個數量級。
字節在 AI 領域其實已經拿到了不少好牌。豆包是國內用戶規模最大的 AI 聊天應用,Seedance 也躋身全球頂尖視頻生成模型行列。偏偏通用語言模型沒有跟上。今年 6 月發布 Seed2.1 時,團隊自己也承認,模型在高難度開放任務和前沿科研問題上還有明顯短板。
字節為此準備投入天量資金。今年 5 月,公司曾討論將全年資本開支提高至最高 700 億美元,主要用於建設 AI 數據中心等基礎設施。8 月又傳出,Seed 正在預訓練一款最高達 10 萬億參數的大模型,規模超過國內所有公開的大模型。
張一鳴也不願靠蒸餾走捷徑。所謂蒸餾,就是拿 Claude 等領先模型生成的答案,反過來訓練自己的模型。今年 8 月,他就明確表示,這種辦法短期內確實能改善表現,但學來的終究是別人已有的能力,最多只能不斷逼近,很難眞正超越。Seed 內部還通過 API 檢測和訓練數據過濾,限製第三方模型的輸出進入訓練集。
為了追趕,字節也在不斷招人、留人。Seed 目前約有 1000 名研發人員,由張一鳴去年從 Google DeepMind 挖來的吳永輝帶隊。字節還專門推出了與豆包業務掛鈎的虛擬股「豆包股」,符閤條件的員工還可以選擇把年終奬領成豆包股,分享業務增長帶來的收益。
字節計劃未來幾週推出一款類似 Meta Muse 的個人 AI 助手,讓用戶通過語音和虛擬形象與 AI 交互,並讓它代為完成任務。豆包內部代號為「Spell」的個人助理項目早在 4 月便開始內測,後來因豆包手機發布等原因,一直沒有正式推出。Meta Muse 爆火後,字節加快了進度,國慶假期前就在趕研發,計劃將 Spell 與豆包進一步整閤。
張一鳴特別指出,Seed 大語言模型使用的預訓練數據集,比頂尖對手小了幾個數量級。
字節在 AI 領域其實已經拿到了不少好牌。豆包是國內用戶規模最大的 AI 聊天應用,Seedance 也躋身全球頂尖視頻生成模型行列。偏偏通用語言模型沒有跟上。今年 6 月發布 Seed2.1 時,團隊自己也承認,模型在高難度開放任務和前沿科研問題上還有明顯短板。
字節為此準備投入天量資金。今年 5 月,公司曾討論將全年資本開支提高至最高 700 億美元,主要用於建設 AI 數據中心等基礎設施。8 月又傳出,Seed 正在預訓練一款最高達 10 萬億參數的大模型,規模超過國內所有公開的大模型。
張一鳴也不願靠蒸餾走捷徑。所謂蒸餾,就是拿 Claude 等領先模型生成的答案,反過來訓練自己的模型。今年 8 月,他就明確表示,這種辦法短期內確實能改善表現,但學來的終究是別人已有的能力,最多只能不斷逼近,很難眞正超越。Seed 內部還通過 API 檢測和訓練數據過濾,限製第三方模型的輸出進入訓練集。
為了追趕,字節也在不斷招人、留人。Seed 目前約有 1000 名研發人員,由張一鳴去年從 Google DeepMind 挖來的吳永輝帶隊。字節還專門推出了與豆包業務掛鈎的虛擬股「豆包股」,符閤條件的員工還可以選擇把年終奬領成豆包股,分享業務增長帶來的收益。
字節計劃未來幾週推出一款類似 Meta Muse 的個人 AI 助手,讓用戶通過語音和虛擬形象與 AI 交互,並讓它代為完成任務。豆包內部代號為「Spell」的個人助理項目早在 4 月便開始內測,後來因豆包手機發布等原因,一直沒有正式推出。Meta Muse 爆火後,字節加快了進度,國慶假期前就在趕研發,計劃將 Spell 與豆包進一步整閤。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊