NVIDIA赋能开发者：单GPU48小时炼成本土化推理模型

NVIDIA发布了Llama-Nemotron开源模型家族，并提供了完整的代码和数据集，使开发者能够利用NVIDIA NeMo Curator和NeMo Framework，在约48小时内，仅使用单块GPU训练出具备强大推理能力的小型语言模型。

该技术核心在于利用NVIDIA提供的超过3200万样本的Llama-Nemotron训练后数据集，该数据集包含数学、编程、科学等多个领域，并区分了“推理开启”（reasoning on）和“推理关闭”（reasoning off）模式。通过参数高效微调（PEFT）技术，如LoRA，可以在单块80GB显存的NVIDIA GPU（如H100）上高效完成模型训练，显著降低了对计算资源的要求。

通过对Llama 3.1 8B Instruct模型进行为期约30小时的LoRA微调，并结合课程学习策略，模型在GPQA和MMLU等基准测试中的表现超越了基础模型，证明了在有限资源下训练高性能推理模型的可行性。此方法为企业和研究人员提供了快速构建和优化定制化推理模型的途径，为AI在复杂任务中的应用开辟了新空间。

Train a Reasoning-Capable LLM in One Weekend with NVIDIA NeMo | NVIDIA Technical Blog

Have you ever wanted to build your own reasoning model but thought it was too complicated or required massive resources? Think again. With NVIDIA’s powerful tools and datasets, you can train a small…

NVIDIA Technical BlogMehran Maghoumi