STマイクロエレクトロニクスは、ヒューマノイドや産業用ロボットなどのフィジカルAIシステムの開発促進に向けて、NVIDIAとの協力を発表した。
両社は、STのセンサ、マイクロコントローラ、モータ制御ソリューションと、NVIDIAのロボット開発エコシステムを統合することで、効率性・信頼性・拡張性の向上を目指す方針だ。
Holoscan Sensor Bridgeによるセンサ統合
第一段階として、Leopard Imaging社のST製品搭載ステレオ深度カメラとNVIDIA Holoscan Sensor Bridgeを統合する。また、STのASM330LHHX IMUの高忠実度Sim to RealモデルをNVIDIA Isaac Sim開発エコシステムへ追加する。
NVIDIA HSBにより、開発者は複数のSTセンサ・アクチュエータからのデータ取得とロギングの統合、標準化、同期、効率化が可能になる。
これが高忠実度のNVIDIA Isaacモデルの構築に不可欠な基盤となり、学習時間の高速化、Sim to Realのギャップを最小化する。
今回の目標は、STのセンサ・アクチュエータをNVIDIA Jetsonプラットフォームに接続するプロセスを簡略化することだ。
特にヒューマノイド・ロボットの設計に向けて、STM32マイコン、高性能センサ(IMU、イメージセンサ、ToFなど)、モータ制御ソリューションの組み合わせを事前統合したソリューションを提供する。
その代表例が、Leopard Imaging社のロボット用ステレオ深度カメラだ。STのイメージング、深度測定、モーションセンシング技術の使用により、フィジカルAI機器メーカー、学術研究グループ、産業用ロボット開発コミュニティなど、幅広い分野での設計をサポートすることが期待されている。
高忠実度モデリングのコスト削減
先進的なロボットの開発においては、モデリングの課題に加えて、高い開発コストという問題に直面する。広範囲のランダム化を伴う高忠実度シミュレーションでは、大量のGPU・CPUリソースと大規模なデータセットが必要だ。
STとNVIDIAは、STの包括的な製品ポートフォリオを対象に、先進ロボティクスの要件を満たし、ハードウェアキャリブレーションが実施された高精度のモデルを提供することを目指している。最初のIMUモデルの提供に続き、ToFセンサ、アクチュエータ、その他ICのモデルの提供に向けて取り組んでいる。
これらのモデルは、実際のSTのハードウェアから取得したベンチマーク・データと、STのツールを用いて取得した高精度なパラメータおよび実環境に近い挙動を基に構築され、結果としてNVIDIAのIsaac Simエコシステム向けに最適化されたモデルとなる。また、両社は協力してNVIDIA HSBのSTツールチェーンへの統合を進めている。
関係者のコメント
STのアメリカ地区・グローバル・キーアカウント セールス&マーケティング担当エグゼクティブ・バイスプレジデントであるRino Peruzzi氏は、「STはロボット開発コミュニティに積極的に参加し、力強いサポートと安定した開発エコシステムを提供している。NVIDIAとの協力では、AIアルゴリズムの初期構想からセンサとアクチュエータのシームレスな統合に至るまで、あらゆる段階で開発者とユーザの体験を効率化し、最先端のロボット開発の新たな波を引き起こすことを目指している。これにより、AIを活用した高度なフィジカル・プラットフォームの進化を加速させる」とコメント。
NVIDIAのロボットおよびエッジAI担当バイスプレジデントであるDeepu Talla氏は、「次世代の自律システムの開発を加速させるには、高忠実度のシミュレーションとシームレスなハードウェア連携によって、仮想環境での学習と実世界での導入とのギャップを埋める必要がある。STのセンサ・アクチュエータ技術と、NVIDIAのIsaac Sim、Holoscan Sensor Bridge、およびJetsonプラットフォームの統合によって実現する開発基盤は、フィジカルAIを大規模に構築・シミュレーション・展開することに貢献する」と述べている。
STとNVIDIAは今回の協力を通じて、高精度のモデルによりロボットの学習が大幅に向上する想定だ。実世界のデバイス挙動を忠実に再現したモデルによって、ロボットは現実環境に近いシミュレーションで学習できるようになり、トレーニング期間の短縮、ヒューマノイド・ロボット開発のコスト削減を実現するとしている。
