NVIDIA携手OpenAI,GPT-OSS模型本地化加速,AI能力触达PC端
NVIDIA与OpenAI的深度合作,将GPT-OSS系列开源模型进行了NVIDIA GPU的深度优化,实现了从云端到PC的智能、高速推理能力。新发布的gpt-oss-20b和gpt-oss-120b模型,具备链式思考(chain-of-thought)和可调的推理强度,支持长达131,072的上下文长度,特别适合文档理解、代码辅助及深度研究等复杂任务。
通过Ollama、llama.cpp及Microsoft AI Foundry Local等主流框架,开发者和AI爱好者可在NVIDIA RTX AI PC及工作站上便捷部署和运行这些模型。在RTX 5090 GPU上,模型推理速度可达每秒256个token,展示了NVIDIA在AI训练到推理、云端到边缘计算的全链路领导地位。
此次合作标志着AI能力向更广泛用户群体开放,尤其是在本地AI PC端。GPT-OSS模型采用MXFP4精度,在保证高模型质量的同时,显著降低了资源需求,提升了运行效率。NVIDIA通过优化CUDA Graphs和减少CPU开销等技术,持续提升在开源社区中的优化表现,进一步巩固了其在AI计算基础设施领域的优势。
OpenAI’s New Open Models Accelerated Locally on NVIDIA GeForce RTX and RTX PRO GPUs
The groundbreaking open-weight models are now available and optimized for RTX AI PCs for local LLM usage and testing.

网友讨论