GPU算力已不再是AI性能最大瓶颈，真正的短板藏在......

SK海力士全球新闻中心的一篇文章称，GPU和AI加速器是支撑大模型训练和复杂推理请求处理的核心技术。但在实际服务环境中，AI性能并不只取决于计算速度。即便处理器已经准备好执行计算，如果数据不能及时送达，昂贵的加速器也只能空转等待，拖累整个系统的效率。因此，只有当加速器的计算能力、数据供给速度和数据移动路径三者协同工作时，AI系统才能发挥出全部性能。这种协同之所以困难，根源在于算力与数据供给能力的增长严重脱节。过去20年，服务器峰值算力约每两年增长3倍，但DRAM带宽只提升了1.6倍，互连带宽更仅增长1.4倍——计算跑得飞快，“喂数据”的速度却远远跟不上。这个日益扩大的“内存墙”，正在取代算力本身成为AI系统的首要瓶颈。
解决问题的关键在于围绕数据路径设计系统，而非只盯着算力。高频数据应靠近处理器存放，海量数据通过存储和网络高效获取——不可能把所有信息都放在最快的位置，因此数据的存放位置和移动路径必须兼顾速度、容量、成本和能效。软件调度同样决定成败：哪个任务先处理、数据何时预取、任务如何分配，不合理就可能制造新瓶颈。这种“以数据流为中心”的思维方式，正在重塑AI基础设施的竞争格局。快速的GPU、高带宽内存、大容量存储和高速网络，任何单项再强，若各自为政都撑不起整体性能。半导体厂商、服务器制造商、网络设备商、云服务商和存储企业不能再只优化自家部件，而是必须基于全链路数据流协同设计。
更快的GPU依然是AI基础设施的核心，但问题已经向前迈进了一步：数据能多快、多高效地到达GPU并被处理？决定AI性能的下一个瓶颈，就从这个问题开始。