NVIDIA Hot Chips前瞻：AI推理与网络连接重塑数据中心格局
AI推理、推理和网络连接将是下周Hot Chips大会与会者的关注焦点。作为汇聚业界和学术界处理器及系统架构师的关键论坛，Hot Chips大会将于8月24日至26日在斯坦福大学举行，届时将展示推动AI工厂发展并为万亿美元数据中心计算市场创收的最新创新。
NVIDIA将在大会上与Google和Microsoft等行业领导者一同参与一场关于数据中心机架级架构设计的“教程”环节。此外，NVIDIA专家将在四个技术交流环节和一个教程中，详细阐述其网络技术，包括NVIDIA ConnectX-8 SuperNIC如何实现机架和数据中心规模的AI推理。 Blackwell架构驱动的神经渲染进步和推理能力的巨大飞跃，将提供更高级别的图形和模拟能力。采用光纤而非铜线的共封装光学（CPO）交换机，能够实现高效、高性能的千兆瓦级AI工厂。NVIDIA Spectrum-XGS以太网作为一项全新的scale-across技术，能将分散的数据中心统一为AI超工厂。NVIDIA GB100 Superchip将作为NVIDIA DGX Spark桌面超级计算机的核心引擎。
NVIDIA的最新技术正加速推理过程，驱动各领域、各规模的AI创新。AI推理需要机架级性能以高效提供最佳用户体验，而NVIDIA网络技术，特别是ConnectX-8 SuperNICs，通过其NVLink平台，实现高带宽、低延迟的多GPU通信，从而在规模化部署中提供领先的AI推理性能。Spectrum-X以太网提供Scale-out Fabric，连接整个集群，快速将海量数据集流式传输到AI模型中，并协调数据中心内的GPU间通信。Spectrum-XGS以太网则将此性能扩展至互联多个分布式数据中心，形成具备千兆智能的AI超工厂。
Blackwell架构赋能的GeForce RTX 5090 GPU在游戏性能和神经渲染方面实现了显著提升。NVIDIA CUDA作为广泛的计算基础设施，使开发者能够利用Blackwell平台在任何地方部署和运行AI模型。从机架级系统到个人电脑，CUDA的普及为AI模型的运行提供了强大的支持。DGX Spark凭借其紧凑的封装，为开发者提供了在桌面端推动生成式AI边界的能力，并支持NVFP4以实现高效的Agentic AI推理，尤其是在大型语言模型（LLMs）方面。
NVIDIA通过加速TensorRT-LLM、Dynamo等开源库和框架，优化LLM和分布式推理工作负载。与各大开源框架提供商的合作，为FlashInfer、PyTorch等提供了模型优化。此外，NVIDIA NIM微服务支持OpenAI的gpt-oss和Llama 4等流行开源模型，使开发者能够方便地部署托管API，同时保留自托管模型的灵活性和安全性。
Dave Salvator
网友讨论