NVIDIA NuRec技术：实时场景重建，赋能下一代机器人与自动驾驶模拟

NVIDIA Omniverse NuRec与3DGUT技术革新了从真实世界环境到交互式模拟的转化流程。该技术能够基于多传感器数据，快速重建出逼真的三维场景，并无缝集成至NVIDIA Isaac Sim或CARLA等模拟平台，极大地缩短了机器人和自动驾驶车辆的训练周期。

核心流程始于利用COLMAP进行稀疏重建，生成点云与相机参数。随后，通过3DGUT进行密集重建和训练，生成可导出为USD格式的3D资产。这一系列自动化步骤，从数据采集到场景部署，显著提升了从真实世界到模拟环境迁移的效率和保真度。

在机器人训练领域，高保真度的模拟环境对于测试验证至关重要。NuRec技术通过快速创建逼真的场景，优化了机器人学习中的“sim-to-real”迁移过程。对于自动驾驶车辆开发，其与CARLA模拟器的集成，使得用户能够回放真实世界驾驶场景，并在可控环境中进行深入测试与数据采集。

此外，NVIDIA Cosmos Transfer作为增强工具，通过多控制网络模型，进一步提升了模拟场景的多样性和可控性，能够合成不同光照、天气条件，并支持通过分割、深度图等多种模态进行对象编辑，加速了高质量合成数据集的生成。

3D高斯基（3D Gaussian）渲染技术的应用，是加速模拟工作流的关键。它结合了COLMAP的结构恢复能力与3DGUT的渲染优势，能够高效处理复杂的真实世界光照和相机畸变，为构建高保真、可交互的数字孪生环境奠定了坚实基础。

How to Instantly Render Real-World Scenes in Interactive Simulation | NVIDIA Technical Blog

Turning real-world environments into interactive simulation no longer requires days or weeks of work. With NVIDIA Omniverse NuRec and 3DGUT (3D Gaussian with Unscented Transforms)…

NVIDIA Technical BlogKatie Washabaugh