NVIDIA数据飞轮蓝图：AI代理成本与性能的革命性优化

NVIDIA发布了“AI Blueprint for Building Data Flywheels”企业级工作流，旨在通过自动化实验优化AI代理，以降低推理成本并提升性能。该蓝图以NVIDIA NeMo和NIM微服务为核心，构建一个利用生产数据自我改进的循环，实现模型蒸馏、微调与评估。

该方案显著提高了AI代理的可扩展性和用户体验。例如，通过该蓝图，可将大型Llama-3.3-70b模型替换为小型Llama-3.2-1b模型，在保持准确性的同时，推理成本降低超过98%。该蓝图支持多云、本地及边缘环境，并可无缝集成现有AI基础设施。

实施步骤包括：利用NVIDIA Launchable进行GPU计算部署，配置NeMo微服务进行模型定制，通过NIM微服务提供API服务，以及克隆GitHub仓库。随后，收集生产交互日志，在Elasticsearch中存储并进行数据整理，通过内置的飞轮编排器进行标记、去重和任务数据集的构建，持续运行实验。通过零样本、上下文学习和微调等方式对模型进行评估，并利用生产输出和LoRA进行小型模型微调，再通过MLflow等工具衡量准确性与性能，最终选出匹配或超越基线的模型进行部署。

部署优化后的高效模型后，将新生产数据导入，重复训练和飞轮循环，实现AI代理的持续迭代与性能提升。

New Video: Build Self-Improving AI Agents with the NVIDIA Data Flywheel Blueprint | NVIDIA Technical Blog

AI agents powered by large language models are transforming enterprise workflows, but high inference costs and latency can limit their scalability and user experience. To address this…

NVIDIA Technical BlogSylendran Arunagiri