1 min read

NVIDIA Rubin CPX:重塑AI长文本推理基础设施,驱动下一代智能应用

NVIDIA Rubin CPX:重塑AI长文本推理基础设施,驱动下一代智能应用

NVIDIA近日推出Rubin CPX GPU及Vera Rubin NVL144 CPX机架,标志着AI推理基础设施在应对海量上下文处理能力上迈入新纪元。此举聚焦于解决多步骤推理、持久记忆及长远上下文等Agentic AI系统带来的计算、内存和网络挑战。

解耦推理架构是核心突破。该架构将AI推理过程中的计算密集型“上下文阶段”与内存带宽密集型“生成阶段”分离,允许独立优化资源分配。Rubin CPX GPU专为上下文阶段设计,提供强大的NVFP4计算能力、海量GDDR7内存,并集成视频编解码硬件支持及显著的注意力加速,旨在高效处理代码库、跨文件依赖等复杂场景,赋能AI成为智能协作伙伴。

NVIDIA Vera Rubin NVL144 CPX机架集成了Rubin CPX GPU、Rubin GPU和Vera CPU,在单机架内实现了超乎以往的NVFP4计算能力、高速内存容量及带宽。通过NVIDIA Quantum-X800 InfiniBand或Spectrum-X以太网,并由Dynamo平台协调,该系统为百万级Token的长上下文AI推理工作负载提供强大支撑,预计可实现高达30-50倍的投资回报率,重塑AI推理经济学。

查看消息来源

订阅情报