NVIDIAは、AIトレーニング性能の業界標準ベンチマークである「MLPerf Training v5.1」において、実施された7つのテストすべてをクリアし、最速のトレーニング時間を達成したと発表。大規模言語モデル（LLM）や画像生成、コンピュータビジョンなど、あらゆる分野で記録を更新し、同社の技術力の高さを示した。
NVIDIAは、すべてのテストで結果を提出した唯一のプラットフォームであり、これはNVIDIA GPUの高いプログラマビリティと、CUDAソフトウェアスタックの汎用性を証明している。
Blackwell Ultraアーキテクチャが性能を大幅向上
今回のMLPerf Trainingに初登場したのが、NVIDIA Blackwell Ultra GPUアーキテクチャを搭載したGB300 NVL72ラックスケールシステムである。このシステムは、前世代のHopperアーキテクチャと比較して、同数のGPUでLLM「Llama 3.1 405B」の事前トレーニング性能を4倍以上に、「Llama 2 70B LoRA」のファインチューニング性能を5倍近く向上させた。
この性能向上は、Blackwell Ultraのアーキテクチャ改良が大きく寄与している。具体的には、15ペタフロップスのNVFP4 AI演算性能を提供する新しいTensorコア、2倍のアテンションレイヤー演算性能、279GBのHBM3eメモリなどが挙げられる。
さらに、複数のGB300 NVL72システムを接続する800Gb/sのネットワーキングプラットフォーム「NVIDIA Quantum-X800 InfiniBandプラットフォーム」も初登場し、スケールアウト時のネットワーク帯域幅を前世代の2倍に拡大した。
新技術NVFP4がLLMトレーニングを加速
今回の優れた結果の鍵となったのが、MLPerf Training史上初となるNVFP4精度での計算実行である。計算に用いるデータ表現のビット数を減らすことで処理を高速化する低精度計算は、結果の精度を維持することが課題となる。NVIDIAは、スタックのあらゆるレイヤーで革新的な取り組みを行い、この課題を克服した。
NVIDIA Blackwell GPUは、NVIDIAが設計したNVFP4フォーマットを含む様々なFP4形式での計算を、FP8の2倍の速度で実行可能。Blackwell Ultraではこれを3倍に引き上げ、AI計算性能を大幅に向上させている。現在、ベンチマークの厳格な精度要件を満たしながらFP4精度での結果を提出したのはNVIDIAのみである。
ベンチマークで記録を次々樹立
NVIDIAは、5,000基以上のBlackwell GPUを効率的に連携させ、Llama 3.1 405Bのトレーニング時間をわずか10分に短縮し、新記録を樹立した。これは、前回のラウンドで提出されたBlackwellベースの最高記録よりも2.7倍高速な結果である。また、2,560基のGPUを使用したテストでも18.79分を記録し、前回ラウンドから45%の高速化を達成した。
新たに追加された2つのベンチマーク、小型LLMの「Llama 3.1 8B」と画像生成モデル「FLUX.1」でもパフォーマンス記録を樹立。Llama 3.1 8Bでは512基のBlackwell Ultra GPUで5.2分、FLUX.1では1,152基のBlackwell GPUで12.5分というトレーニング時間を達成した。既存のグラフニューラルネットワークや物体検出などのテストでも、引き続き記録を保持している。
今回のラウンドでは、ASUSTeK、Dell Technologies、Hewlett Packard Enterprise、Krai、 Lambda、Lenovo、 Nebius、 Quanta Cloud Technology、 Supermicro、フロリダ大学、Verda (旧DataCrunch)、 Wiwynn を含む15のパートナー組織からもNVIDIAプラットフォームを使用した結果が提出され、広範なエコシステムが示された。
