DeepSeek与华为联手挑战英伟达AI算力霸权:参与下一代芯片设计,年底冲刺国产芯片预训练
BiRun 讯,动察 Beating AI 快讯,去年,DeepSeek 尝试用华为升腾芯片训练 R2,最后没能成功。《金融时报》当时披露,芯片稳定性、跨卡通信和软件支持都存在问题。即便华为派工程师驻场协助,DeepSeek 最终还是转回英伟达芯片完成训练。
一年多后,双方的合作进一步深入硬件设计。《The Information》现在披露,华为工程师长期驻扎 DeepSeek 办公室,将模型训练中的实际需求直接纳入下一代升腾芯片的设计,包括如何安排计算任务,以及如何在芯片之间传输数据。
DeepSeek 今年 9 月底刚开源了升腾版 TileLang,以及矩阵计算、MoE 专家通信等底层工具,减少了模型迁移到国产芯片所需的开发工作。但软件能跑起来,距离完整预训练还有很长一段路。上万颗芯片需要连续协同数周,任何一颗发生故障,或者数据传输出现延迟,都可能拖慢整个集群。如今双方开始从芯片设计阶段处理这些问题。
华为计划将 2027 年第一季度就绪的升腾 960DT 的大部分供应优先交给 DeepSeek,而不是分散给其他模型公司。DeepSeek 则准备最快今年年底先用 950DT 开始预训练。目前相关测试已使用超过 1000 颗芯片,完整预训练可能需要上万颗,部分集群管理软件仍未完成。与此同时,DeepSeek 仍在寻求更多英伟达芯片。
一年多后,双方的合作进一步深入硬件设计。《The Information》现在披露,华为工程师长期驻扎 DeepSeek 办公室,将模型训练中的实际需求直接纳入下一代升腾芯片的设计,包括如何安排计算任务,以及如何在芯片之间传输数据。
DeepSeek 今年 9 月底刚开源了升腾版 TileLang,以及矩阵计算、MoE 专家通信等底层工具,减少了模型迁移到国产芯片所需的开发工作。但软件能跑起来,距离完整预训练还有很长一段路。上万颗芯片需要连续协同数周,任何一颗发生故障,或者数据传输出现延迟,都可能拖慢整个集群。如今双方开始从芯片设计阶段处理这些问题。
华为计划将 2027 年第一季度就绪的升腾 960DT 的大部分供应优先交给 DeepSeek,而不是分散给其他模型公司。DeepSeek 则准备最快今年年底先用 950DT 开始预训练。目前相关测试已使用超过 1000 颗芯片,完整预训练可能需要上万颗,部分集群管理软件仍未完成。与此同时,DeepSeek 仍在寻求更多英伟达芯片。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯