小米三颗玄戒芯片全部塞进AI小主机,本地可跑120B大模型
BiRun 讯,小米在今天玄戒芯片发布会上亮出了一台 AI 小主机 Xiaomi AI Cube,目前还是原型机,没有公布售价和上市时间。
它把玄戒 O3、O100 和 D100 三颗自研芯片放到一起,内置 120B 和 3B 双模型部署方案,并支持快慢模型切换。
O3 是小米给旗舰手机做的处理器,O100 专门给端侧大模型加速,D100 则是智驾 AI 芯片。现在小米把三者塞进一台机器协同计算,整机持续性能释放最高 150W。
其中 O100 主攻大模型最吃带宽的问题,近存计算带宽达到 1.22TB/s,是传统旗舰手机的 16 倍。运行 Xiaomi MiMo 3B 时,生成速度最高可达每秒 330 Token。
IT之家
它把玄戒 O3、O100 和 D100 三颗自研芯片放到一起,内置 120B 和 3B 双模型部署方案,并支持快慢模型切换。
O3 是小米给旗舰手机做的处理器,O100 专门给端侧大模型加速,D100 则是智驾 AI 芯片。现在小米把三者塞进一台机器协同计算,整机持续性能释放最高 150W。
其中 O100 主攻大模型最吃带宽的问题,近存计算带宽达到 1.22TB/s,是传统旗舰手机的 16 倍。运行 Xiaomi MiMo 3B 时,生成速度最高可达每秒 330 Token。
IT之家
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯