GLM-5.3開始優化自己的系統,智譜唐傑:RSI最小閉環已經出現
BiRun 訊,智譜披露,GLM-5.3 驅動的 Infra Agent 已經參與優化 GLM-5.3-Flash 的推理系統。從首次跑通到承接全部生產流量不到兩週,端到端吞吐提昇到最初的 3.2 倍。
聯閤創始人兼首蓆科學家唐傑在復盤中提到,Agent 現在最容易卡住的地方,往往不是不會寫代碼,而是不知道問題出在哪。比如一次脩改讓吞吐下降 20%,它知道自己改壞了,卻不知道是哪一層出了問題,下一步該査什麼。
於是智譜把資深工程師平時的排査方法做成一套 Agent 可以直接使用的工具。Agent 改完代碼後,可以自己檢査結果對不對、時間耗在哪裡、哪種方案更快,再根據結果繼續脩改。
靠這套方法,Agent 找出了長上下文計算誤差、KV 傳輸阻塞和解碼 kernel 重復計算等問題。其中一個 kernel 重寫後提速 1.71 倍。
唐傑判斷,工程師的角色會越來越像「設計反饋的人」。人負責定目標、設邊界和審覈高風險脩改,Agent 自己提假設、改代碼、跑實驗。離完整的 RSI 還很遠,但「模型優化系統,系統再服務模型」這個最小閉環已經出現。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
聯閤創始人兼首蓆科學家唐傑在復盤中提到,Agent 現在最容易卡住的地方,往往不是不會寫代碼,而是不知道問題出在哪。比如一次脩改讓吞吐下降 20%,它知道自己改壞了,卻不知道是哪一層出了問題,下一步該査什麼。
於是智譜把資深工程師平時的排査方法做成一套 Agent 可以直接使用的工具。Agent 改完代碼後,可以自己檢査結果對不對、時間耗在哪裡、哪種方案更快,再根據結果繼續脩改。
靠這套方法,Agent 找出了長上下文計算誤差、KV 傳輸阻塞和解碼 kernel 重復計算等問題。其中一個 kernel 重寫後提速 1.71 倍。
唐傑判斷,工程師的角色會越來越像「設計反饋的人」。人負責定目標、設邊界和審覈高風險脩改,Agent 自己提假設、改代碼、跑實驗。離完整的 RSI 還很遠,但「模型優化系統,系統再服務模型」這個最小閉環已經出現。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊