NVIDIA 揭秘：NeMo Agent Toolkit 助力 AI 代理规模化部署与性能优化

NVIDIA 内部部署了一个基于 LangGraph 和 NVIDIA NeMo Agent Toolkit 的深度研究 AI 代理（AI-Q），以解决其机密信息的安全使用问题。该代理能够上传文档、提取元数据、访问内部数据源并进行网络搜索以生成研究报告。

为确保代理能够支持大规模并发用户，NVIDIA 采取了三步法：首先，利用 NeMo Agent Toolkit 的评估与剖析系统，对单一用户场景下的应用进行性能分析，识别出瓶颈（如 LLM 调用）。其次，通过 NeMo Agent Toolkit 的尺寸计算器进行负载测试，模拟不同并发用户数，收集数据以预测硬件需求，并在此过程中发现并修复了 CPU 资源分配不当和 LLM 调用超时等问题。

最后，在分阶段的生产部署过程中，集成 OpenTelemetry (OTEL) 收集器和 Datadog，对应用性能、日志及 LLM 追踪信息进行监控和分析，确保了代理在扩展至数百名用户时的稳定性和效率。此过程展示了 NeMo Agent Toolkit 在将 AI 代理从开发推向生产环境中的关键作用。

查看消息来源