英偉達提出AI內存全棧協衕設計方案，Vera Rubin平台每GPU內存容量僅增約3%

據PANews發布，PANews 11月6日消息，英偉達發文稱，隨着AI模型規模擴大、上下文窗口延長以及智能體應用普及，GPU內存壓力持續上昇，HBM供應趨緊、價格上漲。英偉達提出通過GPU、CPU、網絡、存儲及軟件協衕設計，提高內存使用效率，而非單純增加GPU內存容量。 具體來看，英偉達通過NVFP4低精度格式壓縮模型權重和KV Cache，將暫時不活躍的上下文轉移至成本更低的存儲層，並利用多GPU分布式部署釋放HBM空間。