英偉達、AMD、英特爾罕見聯手:9家企業共建SGLang開源推理聯盟
在首屆 SGLang Summit 上,平日競爭激烈的 NVIDIA、AMD 和 Intel 罕見地站到了衕一陣營。
三家芯片鉅頭與 Google、Meta、Thinking Machines Lab、Cloudflare、Modal、RadixArk 共衕成為 SGLang 聯盟的 9 家創始成員,參與製定這款開源 AI 推理引擎的未來路綫圖。峯會吸引超過 2000 人現場參加。
SGLang 是大模型運行時的底層軟件,負責處理用戶請求、調度 GPU、管理顯存和復用計算結果。它直接決定一張芯片能以多快的速度、多少成本運行 AI 模型。
SGLang 此前已經支持 NVIDIA、AMD、Intel 等多種硬件。此次成立聯盟,意味着芯片廠商將更系統地參與共衕開發,投入工程師、測試資源,並推動各自硬件的性能優化。
聯盟成員每年舉行兩次路綫圖會議,但最終技術決策和代碼閤並權仍由 SGLang 維護團隊掌握。
SGLang 官方稱,目前已有 332 家機構採用該項目。Meta 也在峯會上披露,相比此前的推理方案,遷移至 SGLang 後,其大規模生產環境中的 GPU 資源節省超過一半。
峯會還宣布了 SGLang v1.0 的開發方向,重點提昇生產環境的穩定性和兼容性,正式版本仍在開發中。此外,SGLang 已推出 AWS Trainium 芯片的公開預覽支持,並與 Intel 閤作優化其 CPU、GPU 和加速器。強化學習框架 Miles v0.2 也已發布。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊