NVIDIA OrinがMLPerfへデビュー 業界の最新推論ベンチマークにおいてトップクラスにランクイン

NVIDIA Ampereアーキテクチャをベースとする低消費電力のシステムオンチップである「NVIDIA Orin」が業界ベンチマークのMLPerfへデビューを果たし、AI推論における新記録を樹立。エッジでのアクセラレータあたりの性能の水準を引き上げた。NVIDIAが発表した。

NVIDIA OrinがエッジAIで躍進

総じて、NVIDIA およびパートナー企業は、本稼働を想定したAIの業界指標の第5ラウンドで、機械学習の全ワークロードおよびシナリオを実行できる最高のパフォーマンスと非常に幅広いエコシステムを有していることを引き続き示した。エッジAIでは量産前バージョンのNVIDIA Orinが6つの性能テストのうち5つでトップを記録。前世代のJetson AGX Xavierと比較して最大5倍の速度で動作し、平均2倍のエネルギー効率を実現している。

Orinは自動運転車向けのNVIDIA Hyperionプラットフォームの主要コンポーネントでもある。中国におけるEVメーカーの最大手BYDは、OrinベースのDRIVE Hyperionアーキテクチャを次世代の自動EVに採用することをつい先日発表した。また、Orinはシステムメーカーや研究者が次世代AI機器を開発するための医療デバイス向けプラットフォーム、NVIDIA Clara Holoscanの重要な構成要素でもある。

NVIDIA Orinは現在、ロボティクスおよび自律システム向けのNVIDIA Jetson AGX Orin開発者キットとして利用可能。Amazon Web Services、John Deere、コマツ、Medtronic、Microsoft Azure など 6,000 以上の企業が、AI 推論やその他のタスクに NVIDIA Jetsonプラットフォームを使用している。

小さなモジュール、大きなスタック

Jetson AGX Orinを含むNVIDIA GPUを搭載したサーバーとデバイスは、MLPerfの6種のベンチマークすべてを実行した唯一のエッジアクセラレータ。OrinはJetPack SDKを使用して、データ センターとクラウドにおいてすでに実績のあるソフトウェア スタックである NVIDIA AI の全プラットフォームを実行する。

NVIDIA とそのパートナー企業は、今回行われた MLPerf 推論ラウンドで、前回に続きすべてのテストとシナリオで優れた性能を発揮している。MLPerf ベンチマークはAmazon、Arm、Baidu、Dell Technologies、Facebook、Google、Harvard、Intel、Lenovo、Microsoft、スタンフォード大学、トロント大学などの組織から幅広く支持されている。

多くのパートナー企業がテスト結果を提出

NVIDIAの広範なエコシステムに参加するパートナー企業の大多数が、MLPerf のテストを実行するうえで、今回も NVIDIA AI プラットフォームを選んだ。Azureは12月のMLPerf トレーニングテストにおいて着実なパフォーマンスでデビューを果たしたが、今回のラウンドのAI推論でも好成績を残している。前回、今回ともにNVIDIA A100 Tensor コア GPUを使用。AzureのND96amsr_A100_v4 インスタンスはNVIDIAが提出し、最高のパフォーマンスを発揮した8種のGPUのテスト結果に匹敵する成績をほぼすべての推論テストで収めている。パブリッククラウドから簡単に利用可能な性能の高さを示している。

システムメーカーのASUSとH3Cは、今回のラウンドへの提出結果にNVIDIA AI プラットフォームを使用し、MLPerf デビューを果たした。これまで、Dell Technologies、富士通、GIGABYTE、Inspur、Lenovo、Nettrix、Supermicroといったシステムメーカーにより20を超えるNVIDIA-Certified Systemsでの成果が提出されているが、両社もここに加わることとなった。

MLPerfが重要な理由

NVIDIAのパートナー企業がMLPerfに参加しているのは、MLPerfがAIプラットフォームやベンダーを評価するお客様にとって有用なツールであることを理解しているから。MLPerf では多様なテストが用意され、現在最も一般的なAIワークロードおよびシナリオを網羅している。つまりユーザーは、このベンチマークは対象となるジョブの範囲全体で期待できるパフォーマンスを示すものであるという確信を得ることができる。

パフォーマンスの鍵はソフトウェア

NVIDIAのテストで使用したソフトウェアはすべて、MLPerfリポジトリから入手できる。推論結果をもたらした2つの主要コンポーネント(AIモデルの最適化向けのNVIDIA TensorRTと、効率的な展開を可能にするNVIDIA Triton Inference Server)は、NVIDIAのGPUに最適化されたソフトウェアカタログであるNGCから無料で入手できる。TritonはAmazonやMicrosoftなどのクラウド サービス プロバイダーをはじめとする、世界中の企業や機関が採用している。

NVIDIAはこれからも、すべての最適化をコンテナに詰め込み、NGCで利用可能にしていく。これによりユーザーは本番環境でAIを利用して優れたパフォーマンスを手にすることができる。

この記事を読んだ人におすすめ

関連する記事はまだありません