2026-06-04 15:49:35
Nvidia、Nemotron 3 Ultraを公開。Mamba-TransformerのハイブリッドMoEアーキテクチャを備えた5,50Bパラメータのフラッグシップモデル
Beatingによると、Nvidiaは6月4日にフラッグシップの大型言語モデルであるNemotron 3 Ultraをリリースし、合計5500億(550 billion)のパラメータとアクティブパラメータ550億(55 billion)を搭載している。このモデルはArtificial Analysisの知能指数で48を獲得しており、最も強力なパフォーマンスを持つオープンソースの米国モデルで、54ポイントのKimi K2.6に次ぐ2番目だ。 このモデルは、Mamba-2の状態空間層とTransformerの注意(attention)層を交互に切り替えるハイブリッドなMamba-Transformer MoEアーキテクチャを採用している。二次的なKVキャッシュの増加を回避しつつ、1 millionトークンのコンテキストウィンドウをサポートする。同規模の密なモデルと比べて、ハイブリッドアーキテクチャはエージェントタスクでスループットが5倍高く、推論コストは30%低い。Nemotron 3 UltraはHugging Face、NVIDIA NIM、OpenRouterで利用可能だ。