英偉達(dá)近日正式推出NVIDIA Nemotron 3系列開(kāi)放模型，涵蓋Nano、Super和Ultra三種規(guī)模，旨在支持大規(guī)模多智能體系統(tǒng)的開(kāi)發(fā)與部署，實(shí)現(xiàn)高效的長(zhǎng)上下文推理能力。這一系列模型通過(guò)引入創(chuàng)新架構(gòu)和訓(xùn)練方法，為AI智能體應(yīng)用提供了更強(qiáng)大的技術(shù)支撐。

Nemotron 3 Nano作為該系列的小型模型，擁有300億參數(shù)，每次運(yùn)行最多激活30億參數(shù)，特別適合針對(duì)性強(qiáng)、計(jì)算成本效益高的任務(wù)。該模型在軟件調(diào)試、內(nèi)容摘要、AI助手工作流及信息檢索等場(chǎng)景中表現(xiàn)出色。相比之下，Super模型擁有約1000億參數(shù)，每個(gè)token最多激活100億參數(shù)，適用于需要多智能體協(xié)作的低延遲復(fù)雜任務(wù)。而Ultra模型則擁有約5000億參數(shù)，每個(gè)token最多激活500億參數(shù)，能夠處理深度研究和策略規(guī)劃等復(fù)雜AI工作流。

在技術(shù)架構(gòu)方面，Nemotron 3系列引入了混合Mamba-Transformer MoE架構(gòu)，結(jié)合跨交互式環(huán)境的強(qiáng)化學(xué)習(xí)，原生支持100萬(wàn)個(gè)token的上下文窗口。這種設(shè)計(jì)使得模型在多智能體應(yīng)用中能夠?qū)崿F(xiàn)高吞吐量和長(zhǎng)時(shí)域推理。具體而言，Mamba層擅長(zhǎng)高效序列建模，Transformer層則通過(guò)精細(xì)的注意力機(jī)制補(bǔ)充邏輯關(guān)系，而MoE路由在不增加計(jì)算成本的情況下顯著提升了有效參數(shù)數(shù)量。

為了提升模型的實(shí)際應(yīng)用能力，英偉達(dá)采用多環(huán)境強(qiáng)化學(xué)習(xí)訓(xùn)練方法，通過(guò)開(kāi)源庫(kù)NeMo Gym在多種環(huán)境中對(duì)模型進(jìn)行后訓(xùn)練。這種方法能夠生成在多步驟工作流程中表現(xiàn)可靠的模型，減少推理漂移，并處理智能體管道中的結(jié)構(gòu)化操作。Nemotron 3的百萬(wàn)級(jí)上下文容量使其在處理長(zhǎng)時(shí)間多步驟任務(wù)時(shí)能夠更精準(zhǔn)地關(guān)聯(lián)信息，支持對(duì)大型代碼庫(kù)、長(zhǎng)文檔和擴(kuò)展對(duì)話的持續(xù)推理。

在訓(xùn)練效率方面，Nemotron 3 Super和Ultra模型采用了基于NVIDIA Blackwell架構(gòu)的超高效4位NVFP4訓(xùn)練格式。這種格式顯著降低了顯存需求，加速了訓(xùn)練進(jìn)程，同時(shí)提高了模型質(zhì)量。英偉達(dá)還設(shè)計(jì)了更新的NVFP4算法，確保在25萬(wàn)億token的預(yù)訓(xùn)練數(shù)據(jù)集上實(shí)現(xiàn)準(zhǔn)確穩(wěn)定的訓(xùn)練。這一創(chuàng)新使得更大規(guī)模的模型能夠在現(xiàn)有基礎(chǔ)設(shè)施上進(jìn)行訓(xùn)練，而不會(huì)因更高精度格式犧牲準(zhǔn)確性。

為了支持開(kāi)發(fā)者構(gòu)建高性能AI智能體，英偉達(dá)還發(fā)布了面向?qū)I(yè)開(kāi)發(fā)者的訓(xùn)練數(shù)據(jù)集與前沿強(qiáng)化學(xué)習(xí)庫(kù)集合。這些資源包括3萬(wàn)億token規(guī)模的預(yù)訓(xùn)練、后訓(xùn)練及強(qiáng)化學(xué)習(xí)數(shù)據(jù)集，以及用于評(píng)估模型安全性和性能的NeMo evaluator。開(kāi)發(fā)者可以利用這些工具和數(shù)據(jù)集訓(xùn)練、增強(qiáng)和評(píng)估自己的Nemotron模型，從而加速開(kāi)發(fā)進(jìn)程。

Nemotron 3 Nano已上線Hugging Face平臺(tái)，并通過(guò)多個(gè)推理服務(wù)商提供支持。其Hugging Face地址為huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8，體驗(yàn)地址為build.nvidia.com/nvidia/nemotron-3-nano-30b-a3b。Super和Ultra模型預(yù)計(jì)將于2026年上半年推出，這兩款更高性能的模型將成為開(kāi)源社區(qū)關(guān)注的重點(diǎn)產(chǎn)品。

英偉達(dá)的這一系列舉措不僅為開(kāi)發(fā)者提供了強(qiáng)大的技術(shù)工具，還通過(guò)開(kāi)源開(kāi)放的方式降低了開(kāi)發(fā)門(mén)檻。通過(guò)公開(kāi)訓(xùn)練數(shù)據(jù)、強(qiáng)化學(xué)習(xí)環(huán)境和訓(xùn)練代碼，英偉達(dá)希望更多開(kāi)發(fā)者能夠利用優(yōu)質(zhì)數(shù)據(jù)構(gòu)建更好的模型，從而推動(dòng)AI技術(shù)的進(jìn)步和應(yīng)用。這一戰(zhàn)略不僅有助于英偉達(dá)在AI領(lǐng)域保持領(lǐng)先地位，也為整個(gè)行業(yè)的發(fā)展注入了新的活力。