英偉達成美國大模型開源標杆:Nemotron 3連訓練配方都公開,10萬億 token 數據全放出

依據相關報導,英偉達宣布以 Nemotron 3 成為美國大模型開源的標杆。官方披露,Nemotron 3 不僅公開模型權重,同時公開超過 10 萬億 token 的訓練數據,以及前訓練與後訓練的軟體與訓練配方,致力於提升透明度與可重用性。

Nemotron 3 採用混合 Mamba-Transformer MoE 架構,並完整應用 NVFP4 低精度訓練,以提升訓練效率與降低成本。

與其他開源模型相比,Nemotron 3 具備競爭力的性能,且官方稱推理速度更快,據報導速度提升約 1.5 至 3.3 倍,開放程度也較高,促使業界在模型開源與重現性方面取得進展。

來源:https://36kr.com/p/3612257575470339

返回頂端