Kimi K4要比K3更大，但月之暗面被英伟达芯片卡住
BiRun 讯，月之暗面已经开始讨论 Kimi K4，新模型规模将明显超过 K3。但 K4 尚未公布发布时间，公司目前还在寻找更多英伟达 Blackwell 芯片，为后续研发准备算力。
《The Information》称，K3 的部分训练实际在中国完成，并非全部放在美国官员所说的泰国数据中心。
月之暗面至少调用了两家中国云厂商的 Blackwell 芯片。由于没有一家能单独提供足够算力，团队只能把大量八卡服务器连起来，并优化不同供应商、不同数据中心之间的通信。
这套拼接方案帮助月之暗面完成了 2.8 万亿参数的 K3，也暴露了 K4 的难题。美国禁止向中国出口 Blackwell，并正在调查月之暗面等公司获取先进芯片的渠道。
K3 上线后的运行算力同样吃紧。月之暗面大量使用英伟达 H20，每套部署建议至少连接 64 块芯片。用户需求暴涨后，公司不到 48 小时就暂停了新订阅。
国产芯片暂时也很难补位。能连接数十乃至数百块国产芯片的大型服务器供应不足，客户最长需要等待六个月。
K4 目前只有方向，没有时间表。它能做多大、何时开始训练，可能先取决于月之暗面还能找到多少 Blackwell。
（据 The Information 报道）
《The Information》称，K3 的部分训练实际在中国完成，并非全部放在美国官员所说的泰国数据中心。
月之暗面至少调用了两家中国云厂商的 Blackwell 芯片。由于没有一家能单独提供足够算力，团队只能把大量八卡服务器连起来，并优化不同供应商、不同数据中心之间的通信。
这套拼接方案帮助月之暗面完成了 2.8 万亿参数的 K3，也暴露了 K4 的难题。美国禁止向中国出口 Blackwell，并正在调查月之暗面等公司获取先进芯片的渠道。
K3 上线后的运行算力同样吃紧。月之暗面大量使用英伟达 H20，每套部署建议至少连接 64 块芯片。用户需求暴涨后，公司不到 48 小时就暂停了新订阅。
国产芯片暂时也很难补位。能连接数十乃至数百块国产芯片的大型服务器供应不足，客户最长需要等待六个月。
K4 目前只有方向，没有时间表。它能做多大、何时开始训练，可能先取决于月之暗面还能找到多少 Blackwell。
（据 The Information 报道）
评论
0/500
登录 后参与讨论
免责声明：本文内容仅供参考，不构成任何投资建议。
更多快讯