张一鸣:宁愿大模型暂时落后,也不走蒸馏捷径
BiRun 讯,字节跳动创始人张一鸣上月在 Seed 团队全员会上明确表示,公司不会把蒸馏当作追赶大模型的捷径,即使因此暂时落后于国内对手。他要求团队愿意牺牲短期收益,换取长期目标。
蒸馏是让新模型学习更强模型的输出,可以节省训练时间和算力。字节内部认为,不走这条路,会让 Seed 的语言模型短期内更难追上 DeepSeek、Kimi 和千问等国内同行。
但字节更担心的是政治风险。公司此前长期因 TikTok 遭到美国政府审查。虽然 TikTok 美国数据安全业务已经引入美国资本,字节仍保留股份,并继续经营 TikTok 的全球商业业务。一旦被指控大规模提取美国前沿模型的能力,华盛顿可能重新向 TikTok 施压。
Anthropic 此前曾指控 DeepSeek、月之暗面、MiniMax、智谱和阿里巴巴大规模提取 Claude 的能力,但没有点名字节。
(据 The Information 报道)
蒸馏是让新模型学习更强模型的输出,可以节省训练时间和算力。字节内部认为,不走这条路,会让 Seed 的语言模型短期内更难追上 DeepSeek、Kimi 和千问等国内同行。
但字节更担心的是政治风险。公司此前长期因 TikTok 遭到美国政府审查。虽然 TikTok 美国数据安全业务已经引入美国资本,字节仍保留股份,并继续经营 TikTok 的全球商业业务。一旦被指控大规模提取美国前沿模型的能力,华盛顿可能重新向 TikTok 施压。
Anthropic 此前曾指控 DeepSeek、月之暗面、MiniMax、智谱和阿里巴巴大规模提取 Claude 的能力,但没有点名字节。
(据 The Information 报道)
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯