NVIDIA Grace Hopper 统一内存架构：突破 LLM 显存瓶颈的关键

随着大语言模型（LLM）规模的持续增长，如 Llama 3 70B 和 Llama 4 Scout 109B，其参数量和上下文窗口的增加对 GPU 显存提出了严峻挑战。例如，Llama 3 70B 模型在半精度下即需要约 140 GB 显存，远超单张 GPU 的容量。推理过程中，关键值（KV）缓存的增长进一步加剧了显存压力，可能导致“内存溢出”（OOM）错误。

NVIDIA Grace Hopper 和 Grace Blackwell 架构通过 NVLink C2C 高带宽（900 GB/s）内存一致性互联技术，构建了 CPU 与 GPU 共享的统一内存地址空间。这种设计消除了显式数据传输和冗余拷贝，使得 CPU 和 GPU 能够无缝访问和操作同一份数据，从而突破了传统 GPU 显存的限制。

在 NVIDIA GH200 Grace Hopper Superchip 上，这一架构得以充分体现。通过启用 RMM 的托管内存功能，LLM 模型不仅可以利用 GPU 的 96 GB 高带宽显存，还能透明地访问 CPU 相连的 480 GB LPDDR 内存。这极大地扩展了可用内存总量，使得加载和运行超出单卡显存容量的大型模型成为可能。

此项技术革新对于 LLM 的微调、KV 缓存卸载、推理以及科学计算等领域具有重大意义。它显著提升了数据处理效率，确保了模型在内存受限环境下的流畅运行，为 AI 应用的规模化部署铺平了道路。

查看消息来源