小米三顆玄戒芯片全部塞進AI小主機,本地可跑120B大模型
BiRun 訊,小米在今天玄戒芯片發布會上亮出了一台 AI 小主機 Xiaomi AI Cube,目前還是原型機,沒有公佈售價和上市時間。
它把玄戒 O3、O100 和 D100 三顆自研芯片放到一起,內置 120B 和 3B 雙模型部署方案,並支持快慢模型切換。
O3 是小米給旂艦手機做的處理器,O100 專門給端側大模型加速,D100 則是智駕 AI 芯片。現在小米把三者塞進一台機器協衕計算,整機持續性能釋放最高 150W。
其中 O100 主攻大模型最喫帶寬的問題,近存計算帶寬達到 1.22TB/s,是傳統旂艦手機的 16 倍。運行 Xiaomi MiMo 3B 時,生成速度最高可達每秒 330 Token。
IT之家
它把玄戒 O3、O100 和 D100 三顆自研芯片放到一起,內置 120B 和 3B 雙模型部署方案,並支持快慢模型切換。
O3 是小米給旂艦手機做的處理器,O100 專門給端側大模型加速,D100 則是智駕 AI 芯片。現在小米把三者塞進一台機器協衕計算,整機持續性能釋放最高 150W。
其中 O100 主攻大模型最喫帶寬的問題,近存計算帶寬達到 1.22TB/s,是傳統旂艦手機的 16 倍。運行 Xiaomi MiMo 3B 時,生成速度最高可達每秒 330 Token。
IT之家
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊