英偉達在人工智能領域再次投下重磅炸彈,正式推出專為大規(guī)模AI智能體設計的新一代開源模型——Nemotron 3 Super。這款擁有1200億參數(shù)的模型,在性能上直逼行業(yè)頂尖水平,其推理速度較前代提升3倍,吞吐量更是暴漲5倍,成為OpenClaw領域的又一強力競爭者。
Nemotron 3 Super采用創(chuàng)新的Mamba-MoE混合架構,有效解決了多智能體協(xié)同中的性能瓶頸問題。作為Nemotron 3家族的最新成員,該模型實現(xiàn)了三大技術突破:原生采用NVFP4精度進行預訓練,引入全新的LatentMoE混合專家架構,以及加入多Token預測(MTP)層。這些創(chuàng)新使得模型在單位算力和單位參數(shù)的準確率上達到極致優(yōu)化。
在基準測試中,Nemotron 3 Super表現(xiàn)出色。在Pinchbench測試中穩(wěn)居開源模型榜首,在OpenClaw任務成功率上達到85.6%,性能與Claude Opus 4.6、GPT-5.4等頂尖模型不相上下。更令人矚目的是,英偉達決定將超過10萬億Token的預訓練和后訓練數(shù)據(jù)集、完整訓練方法論,以及15個強化學習環(huán)境全部開源,供全球開發(fā)者使用。
針對多智能體應用面臨的兩大挑戰(zhàn)——上下文爆炸和"思考稅",Nemotron 3 Super提供了有效解決方案。該模型支持100萬token的上下文窗口,在OpenClaw環(huán)境下可完整保留工作流狀態(tài),確保邏輯一致性。同時,通過創(chuàng)新的架構設計,大幅降低了多智能體應用的成本和延遲,使其更具實際部署價值。
在架構設計上,Nemotron 3 Super的88層網(wǎng)絡采用周期性交替排列,Mamba-2層與少量Transformer注意力層相結合,既保證了高效的序列建模,又實現(xiàn)了跨位置的長距離信息路由。這種設計使其吞吐量較前代提升5倍,準確率提升2倍,在輸入輸出序列較長時表現(xiàn)尤為突出。
LatentMoE架構的引入是該模型的另一大亮點。通過將Token從高維隱藏空間投射到低維潛在空間進行路由和計算,顯著減少了專家參數(shù)加載量和跨卡通信量。這種設計使得模型能夠在不增加推理成本的情況下,激活更多專家,從而提升準確率。英偉達官方表示,這種設計相當于"花1個專家的成本,激活4個專家"。
多Token預測(MTP)技術的加入,進一步提升了模型性能。與傳統(tǒng)單token預測不同,MTP要求模型在每個位置預測多個未來token,迫使其理解更復雜的因果關系和文本結構。這不僅提高了模型質(zhì)量,還通過原生投機解碼大幅降低了生成延遲,且額外算力開銷極小。
預訓練階段,Nemotron 3 Super采用兩階段策略:第一階段使用20萬億token的多樣化數(shù)據(jù),覆蓋網(wǎng)頁、代碼、數(shù)學、學術等多個領域;第二階段使用5萬億token的高質(zhì)量數(shù)據(jù),重點提升準確率。這種訓練方式使基礎模型在MMLU等基準測試中取得優(yōu)異成績,超越同等規(guī)模的其他模型。
在后訓練方面,英偉達將重點放在提升AI智能體能力上。SFT階段使用超過700萬樣本、800億token的數(shù)據(jù),其中Agent相關任務占比高達36%。RL階段則通過多環(huán)境訓練、軟件工程專項訓練、RLHF和MTP恢復四步走策略,顯著提升了模型在數(shù)學推理、長上下文處理和軟件工程等任務上的表現(xiàn)。
Nemotron 3 Super的高精度工具調(diào)用能力,為OpenClaw智能體在多個領域的應用開辟了新可能。在軟件開發(fā)中,AI可一次性加載整個代碼庫,實現(xiàn)端到端的代碼生成和調(diào)試;在財務分析領域,模型可直接處理數(shù)千頁報告,大幅提升工作效率。這種能力也使自主Agent在網(wǎng)絡安全等高風險環(huán)境中能夠更可靠地執(zhí)行任務。
據(jù)悉,多家科技公司已開始將Nemotron 3 Super集成到自家產(chǎn)品中。Perplexity將其用于搜索服務,CodeRabbit等公司將其應用于軟件開發(fā)智能體,生命科學領域的Edison Scientific等機構則利用其進行深度文獻檢索和分子結構分析。有消息稱英偉達正在開發(fā)名為NemoClaw的開源AI智能體平臺,旨在為企業(yè)市場提供安全可靠的解決方案。















