「cuRoboはCPUベースの50倍高速」NVIDIAロボット分野にも注力、高評価の理由　ロボット/デジタルツイン/シミュレータ/強化学習の最前線　単独インタビュー

ゴパラクリシュナさん

NVIDIAは元々、グラフィックボード向けにGPUを開発し、ゲームやビジネスでリアルなCGやデザインを創造する技術を蓄積してきました。そのGPUの演算能力をAI分野に活かして、機械学習やAIの推論に必要不可欠な技術を提供しています。今、海外を含めて「メタバース」や「デジタルツイン」が注目されています。どちらも同じもので、バーチャルワールド(仮想世界)を基盤とした技術です。NVIDIAがこの技術で優れていると評価を得ている理由は、グラフィック分野で培ってきたリアルな描画技術とAIの処理技術の両方を持っているからです。

ゴパラクリシュナさん

3Dバーチャルワールドでは現実とほぼ同じものを再現することが重要です。それには、グラフィック分野で培ってきたリアルな描画技術とAIの処理技術の両方の技術がとても有効で、必要不可欠です。そのためNVIDIAの「Omniverse」「Isaac Sim」やプラットフォームが選ばれています。

ゴパラクリシュナさん

3D業界ではPixar Animation Studiosが考案した「USD」(Universal Scene Description)というフレームワークやファイル形式が、オープンで拡張可能なエコシステムとして標準化になる傾向にあります。OmniverseはUSDにも対応しました。


USDは単なるファイル形式ではなく、3D仮想世界で構成、編集、クエリ、レンダリング、コラボレーション、シミュレーションを行うAPIを備えたエコシステムとして、多くのメリットがあります。映画やCGグラフィックスでUSD形式で作成したキャラクターやアイテムなどを、Omniverseなどの仮想空間にそのまま持ってくることもできます。NVIDIAは、OpenUSDのためにPixar、Adobe、Apple、Autodeskとともに、OpenUSDの標準化や開発を促進するオープンな非営利組織「AOUSD」を設立しました。




多くの企業がこれに賛同し、産業分野でもアセットを制作してエコシステムに参加しています。NVIDIAやAdobe、Appleなどプラットフォームやツールを提供している企業だけでは充分な環境は作れません。多くの産業がアセットを持ち寄ってエコシステムを充実させることで、デジタルツインが促進すると考えています。

ゴパラクリシュナさん

Amazonは物流倉庫全体のデジタルツインを「NVIDIA Omniverse」で制作しました。その仮想世界の中で、ロボットやスタッフがどう動くのか、安全性を高めるにはどうすべきか、効率良く動かすにはどうするか、自動搬送ロボットの走行ルートや発送する商品の流れ、それらをリアルな仮想空間で充分にシミュレーションし、トレーニングして試行を繰り返した上で、現実の物流倉庫に反映します。

■Amazon Robotics Builds Digital Twins of Warehouses with NVIDIA Omniverse and Isaac Sim

その際もAutodeskやAdobeなどで作成したアセットを簡単にOmniverseに組み込めることがメリットになっています。エコシステムですから、例えば、ある有名なメーカーのロボットの採用を検討する場合、機種のデータをOmniverseにインポートして、一日から数日でOmniverseやIsaac Simの中で開発者は動作させることができます。

ゴパラクリシュナさん

「Isaac Sim」の役割のひとつは「合成データジェネレーション」です。ロボットの技術が急速に進まない要因のひとつが開発から導入、運用がすべて高額なことです。この課題はデジタルツインが解決の鍵になります。


プロトタイプの開発を実機で繰り返すとコストがかかるので、仮想空間上のシミュレーションで試行錯誤し、最適なデザインや機能性を検討してから実世界でプロトタイプを作成します。実世界の実証実験では衝突や転倒による故障、その修理による開発時間のタイムロス、人と接触するなどの危険性も伴いますが、それらもシミュレーション上では衝突や転倒しても修理の必要はありませんし、人と接触するケースを予めシミュレーションで確認しておけば防ぐ施策をとることができます。「Isaac Sim」はそのように活用することで、ロボット産業の開発と運用を一気に加速することができるシミュレータです。

■Narrowing the Sim2Real Gap with NVIDIA Isaac Sim

日本でもよく利用されているデンソーウェーブのコボッタ、ユニバーサルロボット、Techman、川崎重工、ファナックなど、多くのメーカーがOmniverseやIsaac Simにインポートできるデータを提供し始めています。
これらを活用して、産業用アームロボット、ピッキングロボット、デリバリーロボット、自動搬送ロボットなど現在では約1200社がロボット開発に「Isaac」が使用されています。

ゴパラクリシュナさん

米Amazonのユースケースを詳しく知りたいということでしたね。Amazonが導入している「Omniverse」や「Isaac」の合成データジェネレーションに関する有効な事例を紹介すると、例えば、Amazonはクリスマスシーズンなど特別なシーズンやキャンペーンのときに、ラッピング包装や箱を一時的に変更します。しかし、ロボットの認識機能にとっては従来、こんな些細なことでも大きなシステム変更やトレーニングが必要となり、ロボットの作業を一時的に止めてAIモデルの試行やトレーニングの作業が必要でした。

「Omniverse」や「Isaac」を導入した現在では、リアルのロボットは従来の作業を続けたままで、Omniverse上で新しいラッピングに対応したロボットの認識システムの変更、トレーニング、テストを充分にシミュレーションした後、実際のロボットに反映すればよいようになりました。
また、最近、同社が発表した完全自律型ロボット｢プロテウス｣(Proteus)等にはJetsonが搭載され、高度な知能化がされています。

ゴパラクリシュナさん

「Omniverse」をデジタルツイン基盤として、ロボットの開発、運用、トレーニング等を支援するアプリケーション(シミュレーション)のひとつが「Isaac Sim」です。Isaac SimではURDFやUSDなど様々なフォーマットに対応し、ロボットのメーカーが提供しているデータをインポートすることができます。
なお、USDはまだスタートしたばかりで、URDFを使ったものも多いため、ほとんどのロボットメーカーが機種ごとに持っているURDFデータからUSDへの変換ツールを用意しています。


そして、カメラやLiDAR等、各種センサーからのデータを取り込んでそれを正確に反映してシミュレートすることが大切です。これらのセンサーデータの処理は自動運転で使っている「NVIDIA DRIVE SIM」の高精度な技術を活用しているため、「Isaac Sim」で正確なシミュレーションが実現できるのです。そこにはNVIDIAの高精度な「RTX」グラフィックス、レイトレーシングの技術もリアルな再現性に大きく関与しています。


これらの高精度技術とそのまま連携できて、超小型化した製品が「Jetson」です。最上位のGPUプラットフォームから、Omniverseデジタルツイン、Isaacロボティクス シミュレーション、高精度な自動運転シミュレーション、RTXレイトレーシングなど、ワークステーションやクラウドで開発・シミュレーションした技術を、ほとんどコード変更することなく、そのままシームレスに「Jetson」搭載したロボットに活かすことができます。

ゴパラクリシュナさん

ROSのロボットも「Isaac Sim」にインポートしやすいように、ブリッジを用意しています。アームロボットなどマニピュレーションの技術に関するツールをIsaac Simに追加して、モーションプランニングなど、AI最先端技術を研究開発する施設「NVIDIA Research」の研究成果を反映しています。

ゴパラクリシュナさん

「Isaac Gym」は強化学習をおこなうためのツールです。例えば4脚の犬型ロボットに車輪をつけて、「Isaac Gym」上で車輪で走行するように強化学習をおこないました。シミュレーション上でAIエージェント犬が車輪で走れるようになったので、それを実物のロボットに入れて実践したところ、一度も車輪で移動したことのない犬型ロボットが一度も失敗せずに走行することができました。