「NVIDIA A100」GPUがベンチマークの最速記録を更新　CPUより最大237倍も高速なAI推論を達成　「MLPerf」6応用分野で圧勝

2020年10月23日 By 神崎洋治

NVIDIAは世界的な評価と知られるパフォーマンステスト「MLPerf」において、データセンターおよびエッジ・コンピューティング・システム向けの6つの応用分野すべてで同社のGPUが最速を達成し、いくつかのベンチマーク記録も更新、ディープラーニングにおいて、CPU、FPGA、TPUなど他のプロセッサと比較してGPUの圧倒的な優位性を実証した、と発表した。

パフォーマンスを発揮した「NVIDIA A100」(関連記事「富士通やDell、ASUS、Cisco、HPなど大手メーカーが「NVIDIA A100」搭載サーバーを続々発表　AIを加速するA100の主な特徴」)

「SPEC」と「MLPerf」

「SPEC」という有名な非営利団体がある。その団体は「コンピュータの公平で意味のあるベンチマークを作成する」ことを目指して設立された。開発者やエンジニアがコンピュータのパフォーマンスを知るのに指標となる評価を提供している。

ところが、ディープラーニングにおいては、AI機械学習とAI推論で要件定義が異なっていたり、CPUのパフォーマンス以上にGPU、FPGA、TPUなど、様々なプロセッサが大きく性能に関与するなど、「SPEC」の評価や数値が適正なパフォーマンスを示すとはいえない状況だった。そのため、「SPEC」とは別に、カリフォルニア大学バークレー校やスタンフォード大学、Google、Intel、DellEMCなどの業界関係者が「ディープラーニングにおける公平かつ有用なベンチマークを作る」ことを目指して策定した基準であり、コンソーシアムが「MLPerf」だ。

「MLPerf」は、ハードウェア、ソフトウェア、サービスについて、AI機械学習(トレーニング)およびAI推論のパフォーマンスに対して公正な評価を提供している。

2020年10月21日、NVIDIAはこの「MLPerf」の最新の評価において、パフォーマンスの記録をさらに更新したことを発表し、GPUの独走性をアピールした。具体的には、MLPerf推論の第2バージョンにおいて、データセンターおよびエッジコンピューティングシステム向けの全6応用分野すべてで勝利した。

MLPERFの1年半の推移。最新モデルの「A100」の登場でパフォーマンスは最大4倍に向上した

全6応用分野すべてで勝利

6応用分野とは、コンピュータービジョン向けの2分野、レコメンデーション・システム、自然言語理解、音声認識、医用画像。

NVIDIAは「幅広い業界において、すでに”NVIDIAR A100 Tensorコア GPU”のAI推論を使って、AIは研究段階から日々の業務へ実活用へと移行しています。金融機関は対話型AIを使って顧客の質問に、より素早く回答するようになり、小売業者はAIを使って常に在庫を適切に補充し、医療機関は何百万枚もの医用画像をAIが分析することで、病気をより正確に特定し、人命を救うのに役立てています」としている。

出典NVIDIA

NVIDIAはこれら各分野ごとにフレームワークを用意している。例えば下記のもの。

レコメンド・システム　NVIDIA Merlin
対話型AI向け　NVIDIA Jarvis
ビデオ会議向け　NVIDIA Maxine
ヘルスケア用　NVIDIA Clara

さらに「5年前は、GPU を推論に使っていたのはほんの一部の大手ハイテク企業だけでした。現在では、NVIDIAのAIプラットフォームはすべての主要なクラウドおよびデータセンターインフラストラクチャーのプロバイダーを通じて提供されており、幅広い業界の企業が AI 推論プラットフォームを使ってビジネス活動を向上させ、付加的なサービスを提供しています」と続けた。

CPUの30倍のパフォーマンス

NVIDIA GPUのクラウドAI推論コンピューティング能力の合計は、2年ごとに約10倍伸びている。NVIDIAはその高速性と成長性をCPUと比較して次のように表現している。

NVIDIA

今年の前半に発表された「NVIDIA A100」は、第3世代のTensorコアと Multi-Instance GPUテクノロジーを特徴としており、ResNet-50テストでは「CPUに30倍の差をつけて勝利」しました (前回のラウンドでは CPU に6倍の差をつけていました)。さらに、新しく追加されたデータセンター向け推論のレコメンド・テストでは、最新のCPUを最大237倍も上回るパフォーマンスを出しました (MLPerf 推論 0.7 ベンチマークに準拠)。

これは、1台の「NVIDIA DGX A100」システムで約1,000台のデュアルソケット CPUサーバーと同じパフォーマンスを実現できるということであり、お客様がAIレコメンド・モデルを研究から実稼働に移す際に、きわめて高い費用対効果を提供できることを意味します。
このベンチマークはまた、主流のエンタープライズ向けエッジサーバーや、費用対効果の高いクラウドインスタンスにとって、NVIDIA T4 Tensor コア GPU が引き続き、堅実な推論プラットフォームであることも示しています。NVIDIA T4 GPU は同じテストで CPU を最大28倍上回っています。

NVIDIA A100 および T4 GPU は、データセンターのすべての推論テストで圧勝。青が「Intel Cooper Lake」(以下、NVIDIA出典)

また、エッジ分野でもJetsonが高性能を達成しています。「NVIDIA Jetson AGX Xavier」は、SoC ベースのエッジ・デバイスの中で首位のパフォーマンスを見せています。

エッジコンピューティングで優れたパフォーマンスを発揮するGPUとして、A100とT4 GPU、更には「Jetson AGX Xavier」が加わった(それぞれのパフォーマンス比較:Jetsonは省電力性に優れる)

このような結果を出すには、高度に最適化されたソフトウェアスタックが必要でした。NVIDIA TensorRT 推論オプティマイザーと NVIDIA Triton 推論サーバーソフトウェアが用意されていて、どちらも NVIDIA のソフトウェアカタログ「NGC」で入手できます。

NVIDIAのパートナー企業の成果

これらベンチマークの好成績は、NVIDIAのAIエコシステムが拡大していることも影響しているという。今回の評価用に提出された結果のうち、データセンターとエッジのカテゴリーが全体の85%を占めていて、NVIDIA GPUが使用されているソリューションは1,029件にのぼった。これらの提出結果によって、パートナーが提供するシステム全体が安定したパフォーマンスを示しているということが実証された、と同社は語っている。NVIDIAのパートナーには、Altos、Atos、Cisco、Dell EMC、Dividiti、富士通、Gigabyte、Inspur、Lenovo、Nettrix、QCT などがある。

【フォロワー2万5千人突破!!】
ロボット、AI、スマートスピーカー、ビッグデータ、自動運転、xR、ドローンなど最新情報が満載
ロボットスタート「ロボスタ」 Facebbok公式ページ

ABOUT THE AUTHOR /

神崎洋治

神崎洋治（こうざきようじ） TRISEC International,Inc.代表「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ～くわかる本」(秀和システム)の著者。デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。