前半は、フィジカルAIを支える「3つのコンピューター」という考え方を紹介してもらった。ロボット開発は、「シミュレーション」「AIモデル学習」「実機での実行」という3つの役割を持つコンピューターが連携し、実機で得られたデータを再び学習へフィードバックすることで、AIの性能を継続的に向上させていく。
では、そのコンピューターの上では、実際にどのようなソフトウェアやAIモデルが動き、フィジカルAIを実現しているのだろうか。
では、そのコンピューターの上では、実際にどのようなソフトウェアやAIモデルが動き、フィジカルAIを実現しているのだろうか。
NVIDIAは現在、NVIDIA「Omniverse（オムニバース）」「Isaac Sim（アイザック シム）」「Isaac Lab（アイザック ラボ）」「Cosmos（コスモス）」「GR00T（ジー・アール・ゼロ・ゼロ・ティー:通称はグルート）」「OSMO（オスモ）」など、多数のソフトウェアやAIモデルを提供している。
それぞれ別々のツールのように見えるが、NVIDIA ロボティクス事業部長の平野氏は「これらは別々のツールではありません。一つの開発環境として全て繋がっています」と話す。
ここでは、その全体像を整理しながら、NVIDIAが描くフィジカルAI開発のプロセスを読み解いていきたい。
■ フィジカルAI開発は「世界を作る」ことから始まる
前頁で紹介したように、フィジカルAI開発では、まずロボットが活動する世界をデジタル空間に再現する。その役割を担うのが、デジタルツイン開発プラットフォーム「NVIDIA Omniverse」だ。
平野氏は、「ロボットを知能化させるためには、ロボットが活動する環境も含めて再現し、その中で学習させる必要があります」と説明する。
デジタル空間で膨大な経験を積ませることが重要になるが、そこで登場するのが「Isaac Sim」と「Isaac Lab」である。
「Isaac Sim」は、ロボットが現実世界では難しい膨大な試行錯誤を行うためのシミュレーション環境。その環境を活用して学習・評価を繰り返すロボット学習環境が「Isaac Lab」（次項で解説）
■ Isaac Simはロボットに「経験」を積ませる
ロボットを高精度な物理シミュレーション環境（デジタル空間）で動かし、動作を検証するロボティクスシミュレーターが「Isaac Sim」だ。
Omniverse上に構築したデジタル空間の中で、ロボットが歩く、物をつかむ、荷物を運ぶといった動作を現実に近い物理環境で再現できる。実機では転倒や衝突による故障のリスクが伴うような試行錯誤も、デジタル空間なら何度でも安全に繰り返すことが可能だ。
平野氏は、「実世界だけで学習していたら、コストもかかるし、とても時間が足りません。だからシミュレーション環境が重要になります」と説明する。
近年は、その活用範囲も広がっている。例えば「NVIDIA Isaac Teleop」（テレオペレーション）では、VRやXRデバイスを装着した人がロボットを遠隔操作し、その操作データをAI学習へ活用する。人間の熟練した作業を効率よくロボットへ教える手法として注目されており、Isaac Simは、テレオペレーションや合成データ生成など、フィジカルAI開発に必要なデータを生み出す基盤としても活用されている。
■ Isaac Labは「学習」を効率化するロボット学習環境
「Isaac Lab」はIsaac Simと密接に連携しているものの、役割は異なる。Isaac Simがロボットを動かし、シミュレーションデータを生成・取得する環境であるのに対し、Isaac Labは、そのデータを利用してAIモデルを効率よく学習・評価するためのロボット学習環境だ。
前頁でも紹介したように、例えばロボットアームに「コップをつかむ」という動作を学習させる場合でも、ガラスや紙など材質が違えば、重さや必要な力加減は変わる。さらに置かれた位置や角度、照明条件まで含めると、学習すべきパターンは膨大になる。
歩く、物をつかむ、荷物を運ぶ、障害物を避ける、複数台で協調作業を行う・・こうした動作を実際のロボットだけで何万回も繰り返すことは、時間もコストも膨大になる。転倒や衝突による故障のリスクも避けられない。
そこでIsaac Simで構築したシミュレーション環境が活用される。Isaac Labでは、その環境を利用して同じタスクを多数の仮想ロボットに並列実行させながら学習・評価を繰り返すことができる。現実世界では数年を要するような試行錯誤も、デジタル空間なら圧倒的な速度で学習・評価を進められる。
平野氏は、「Omniverseで世界を作り、その世界の中でIsaac Simを使ってロボットを動かし、Isaac Labで学習や評価を繰り返していく。そういうイメージで捉えていただくと分かりやすいと思います」と説明する。
さらにIsaac Labは、強化学習（Reinforcement Learning）や模倣学習（Imitation Learning）など、多様なAI学習手法を組み合わせながら研究開発を進められるよう設計されている。そのため、大学や研究機関だけでなく、多くのロボットメーカーでも採用が進んでいる。
このように、Isaac Simがシミュレーション環境を提供し、Isaac Labがその環境を利用して学習・評価を繰り返すことで、一つの学習サイクルが構成される。ロボットはデジタル空間で膨大な経験を積み重ねながら、効率よく能力を高めていくことができる。
しかし、デジタル空間で豊富な経験を積んだからといって、それだけでフィジカルAIが完成するわけではない。ロボットには、経験した事象から現実世界の法則を理解し、「次に何が起こるのか」を予測する能力も求められる。
その役割を担うのが、NVIDIAがフィジカルAI開発の中核技術として位置付ける世界モデル「Cosmos」だ。
■ Cosmosは「世界を理解するAI」
Omniverseで「世界」を作り、Isaacでロボットに経験を積ませる。次にロボットは、経験したことを単純に覚えるだけでなく、「なぜそうなったのか」を理解し、「次に何が起きるのか」を予測する必要がある。その役割を担うのが「世界モデル（World Model）」である。
平野氏は、「世界モデルは、フィジカルAIを実現するための非常に重要な技術になります」と話す。
では、「世界モデル」とは何か。
人は、ボールを投げれば落ちることを知っている。取っ手を持って引き出しを引けば開くことも、コップを倒せば中の水がこぼれることも経験から理解している。つまり、人は現実世界の物理法則や因果関係を無意識のうちに学んでいる。
ロボットにも、同じ能力が求められる。
そうした世界モデルを、大規模な基盤モデルとして構築したものが「世界基盤モデル（World Foundation Model）」であり、NVIDIAが開発した世界基盤モデルがCosmosである。
単に画像を認識するだけでは、人と同じ空間で安全に働くことはできない。目の前で起きている現象を理解し、その先に起こる変化を予測しながら行動する必要がある。
Cosmosの役割「Reason（理解）」「Predict（予測）」「Transfer（生成）」
平野氏は、Cosmosの役割を「Reason（理解）」「Predict（予測）」「Transfer（生成）」という3つのキーワードで説明する。
「Cosmos Reason」は、現実世界で起きている現象を理解すること。「Cosmos Predict」は、その状況から次に起こる変化を予測すること。そして「Cosmos Transfer」は、学習済みデータを基に、異なる環境条件のデータを生成することだ。
CosmosはOmniverse上で構築したデジタル空間や実世界データを活用しながら、世界モデルとして理解・予測・生成を行うこともできる。例えば、昼間に撮影した工場の映像しかなくても、夜間や逆光、照明条件が異なる環境、敷地内の別の場所など、多様な状況を再現した学習データを生成できる。
現実世界では取得できないデータまで含めて学習できることが、「Cosmos」の大きな特徴だ。
実世界で取得したデータを学習に利活用するために、Cosmosが新たな学習データを生成する。そのデータを使ってロボットを学習させ、実世界へ展開する。こうした循環によって、フィジカルAIは継続的に進化していく。
生成AIがインターネット上の膨大なテキストを学習して進化したように、フィジカルAIはCosmosを活用しながら現実世界で取得できる限られたデータを起点に、学習データを飛躍的に拡張していく。
■ GR00Tは「ロボットの基盤モデル」
世界を理解したら、次に理解した内容を実際の行動へ変換する仕組みが必要になる。それが、ヒューマノイド向け基盤モデル「GR00T」だ。
生成AIでは、大規模言語モデル（LLM）が文章作成や翻訳、要約など、多様なアプリケーションの土台となっている。同じように、ロボットにも共通して利用できる基盤モデルが必要になる。「GR00T」は、その役割を担う基盤モデルとして開発が進められている。
ロボットアームで部品をつかむ、ヒューマノイドが歩く、荷物を運ぶ、引き出しを開ける、こうした動作をロボットごとにゼロから学習するのではなく、共通の基盤モデルとして蓄積し、それぞれの用途へ応用していく考え方だ。
平野氏は「ヒューマノイド開発は現在も急速に進化している分野であり、まだ決定的な手法が確立されたわけではありません。しかしながら、目指しているのは人間のように、あるいは人間以上に柔軟に動けるロボットです」と話す。
そのため「GR00T」も、新しい研究成果や学習データを取り込みながら、継続的に進化していく基盤モデルとして位置付けられている。
■OSMOは開発全体を効率化する「司令塔」
今回のインタビューで、平野氏が「今後重要になる」と繰り返し語っていた技術がある。それが「OSMO」だ。OmniverseやIsaac、Cosmos、GR00Tほど知名度は高くない。しかし平野氏は、その役割は極めて重要だと強調する。
「OSMO」は、シミュレーション、AI学習、合成データ生成、評価、モデル更新など、ロボット開発全体を管理・自動化するオーケストレーションフレームワークだ。
平野氏は、そのイメージを生成AIになぞらえて説明した。
「最近ではClaude CodeやCodexのように、AIがプログラミングを支援するツールが注目されています。OSMOは、それをロボット開発全体へ広げたようなイメージです。」
ロボット開発では、環境を作り、シミュレーションを行い、学習し、評価し、再び学習するという工程を何度も繰り返す。従来は、それぞれの工程を開発者が個別に管理する必要があった。
OSMOは、その一連のワークフローを自動化し、開発効率を大きく高めることを目指している。
ロボティクス分野では、人材不足が大きな課題となっている。OSMOは、一人の開発者がより多くのロボット開発を進められる環境を実現する技術としても期待されている。
■ NVIDIAが提供しているのは「開発プラットフォーム」そのもの
ここまで見てきたように、それぞれの役割は明確に異なる。
「Omniverse」は、ロボットが活動する世界を構築する。
「Isaac Sim / Isaac Lab」は、その世界で経験を積ませ、学習・評価を繰り返す。
「Cosmos」は、現実世界を理解し、学習データを拡張する。
「GR00T」は、ロボット基盤モデルのリファレンスフレームワークとなる。
そして「OSMO」は、それら開発全体を効率化する。
個々を見ると、それぞれ独立したソフトウェアやAIモデルに見えるが、実際にはそれぞれが一つの開発サイクルの中で役割を分担しながら連携している。
平野氏が「AIモデルやソフトウェア、ライブラリ、そして開発基盤までを提供し、その上で世界中の開発者や企業が新しいロボットやサービスを生み出していく」と語った意味も、ここで見えてくる。
NVIDIAが目指しているのは、それらすべてを一つの開発基盤として提供することなのである。
■フィジカルAI時代を支えるNVIDIAの開発基盤
ここまで見てきたように、Omniverse、Isaac Sim、Isaac Lab、Cosmos、GR00T、OSMOは、それぞれが役割を担いながら、一つの開発サイクルの中で連携し、フィジカルAIを実現するための統合開発基盤を構成している。
デジタル空間に世界を構築し、ロボットへ膨大な経験を与え、現実世界を理解する世界モデルで知能を育て、その成果をロボットの行動へ結び付ける。そして、実世界で得られたデータを再び学習へフィードバックし、継続的に性能を向上させていく。
NVIDIAは、この一連のサイクル全体を支える開発基盤を提供しているのである。
従来、ロボット開発は「優れたハードウェア」や「高性能なAIモデル」を競う時代だった。しかしフィジカルAIの時代には、それらに加えて、いかに効率よく学習データを生み出し、シミュレーションと実世界を循環させながら開発を加速できるかが競争力になる。
その意味で、NVIDIAが提供している価値は、AI向けの高性能「GPU」だけではなく、フィジカルAIを実現するための「開発エコシステム」そのものと言えるだろう。
フィジカルAIやヒューマノイドの開発競争は急速に進んでいる。その競争の焦点も、ロボット単体の性能だけではなく、効率よく学習・開発を進められる開発基盤へと広がりつつある。今回紹介したNVIDIAの技術群は、その基盤を支える中核技術であり、今後のロボット産業を理解する上でも欠かせないキーワードになっていくだろう。
NVIDIA ロボティクスの詳細はこちら
