DeepSeek、Kimi都在拼命砍缓存，英伟达开始让缓存跨模型复用

BiRun 讯，过去两年，大模型推理优化一直在拿 KV Cache 开刀。它是模型读完上下文后留下的中间计算结果，内容越长，越吃显存和带宽。DeepSeek-V2 借助 MLA，相比 DeepSeek 67B 将 KV Cache 减少 93.3%；Kimi Linear 相比全 MLA 又最多减少 75%。大家都在让长上下文更便宜。

但这些方案都有一道墙：缓存通常只能在同一个模型内部复用。Agent 从小模型切到大模型后，目标模型还得把前面几万甚至几十万 Token 重新计算一遍。模型路由越频繁，这笔重复计算越难忽略。

英伟达最新论文开始拆这堵墙。团队发现，在同一家族、KV 结构匹配的不同大小模型之间，缓存存在明显的线性关系。用 500 段、每段 1024 Token 的文本校准一次，就能拟合出一套映射，把一个模型算好的 KV Cache 转给另一个模型继续用。

Qwen3-14B 切到 32B 时，32K 上下文重新计算约需 7 秒，转换缓存只要约 0.28 秒，快约 25 倍。换句话说，以后甚至可以先让小模型负责「读」：把长上下文算成 KV Cache；真正需要更强能力时，再把缓存转给大模型，让大模型直接开始「想」和生成。

这会让模型路由省下更多算力。现在让简单任务跑小模型，主要省的是生成成本；一旦切到大模型，长上下文往往还得由大模型重新算一遍。跨模型 KV Cache 如果做成熟，连这部分 prefill 都能交给小模型完成。Agent 可以长期用便宜模型维护上下文，碰到难题才叫醒大模型，而且不用每次都从头「读档」。

论文