NVIDIAが外科チームの手術支援ロボット操作スキルを向上するシミュレーションフレームワーク「ORBIT-Surgical」を公開

2024年5月16日 By ロボスタ編集部

NVIDIAは学術研究者と共同で、手術用ロボットの研究を進めている。

ORBIT-Surgicalは、トロント大学、カリフォルニア大学バークレー校、チューリッヒ工科大学、ジョージア工科大学、NVIDIAの研究者らによって開発された、外科医の認知的負担を軽減しながら外科チームのスキルを向上させることのできるロボットをトレーニングするためのシミュレーションフレームワーク。

針のような小さな物体を掴み、ロボットアームからアームに受け渡し、高い精度で配置するなど、低侵襲手術と呼ばれる腹腔鏡手術のトレーニングカリキュラムにヒントを得た十数種類の操作をサポートしている。

ORBIT-Surgicalは、2024年5月13日から17日まで横浜で開催されるICRA（IEEE International Conference on Robotics and Automation）にて発表された。オープンソースのコードパッケージは、現在GitHubで公開されている。

ORBIT-SurgicalはNVIDIA Isaac Simを使用して構築

この物理ベースのフレームワークは、AIベースのロボットを設計、トレーニング、テストするためのロボティクスシミュレーションプラットフォームである NVIDIA Isaac Simを使用して構築された。

研究者たちは、NVIDIA GPU上で強化学習と模倣学習のアルゴリズムをトレーニングし、Universal Scene Description（OpenUSD）に基づく高度な3Dアプリケーションとパイプラインを開発、展開するためのプラットフォームであるNVIDIA Omniverseを使用して、フォトリアルなレンダリングを可能にした。

ロボット手術をリードしている Intuitive Surgicalが支援する非営利団体Intuitive Foundationが提供し、コミュニティが支援するda Vinci Research Kitを使用して、ORBIT-Surgical研究チームは、どのようにシミュレーションでのデジタルツインのトレーニングを、ラボ環境の物理的なロボットに移行するかを以下のビデオで実演した。

AIのひと針が9人を救う

ORBIT-Surgicalは、Isaac Sim上に構築されたロボット学習のためのモジュラーフレームワークであるIsaac Orbitに基づいている。

Orbitには、強化学習や模倣学習のための様々なライブラリがサポートされており、AIエージェントは実際の専門家の例を模倣するようにトレーニングされる。

この手術フレームワークにより、開発者は、NVIDIA RTX GPU上で動作する強化学習および模倣学習フレームワークを使用して、da Vinci Research Kit ロボット（dVRK）のようなロボットをトレーニングし、硬い物体と柔らかい物体の両方を操作させることができる。

ORBIT-Surgicalは、ガーゼを拾い上げたり、シャントを血管に挿入する、縫合針を特定の位置まで持ち上げるといった片手での作業を含む、手術トレーニングのための十数種類のベンチマーク作業を紹介している。また、片方のアームからもう片方のアームに針を渡す、糸の付いた針をリングポールに通す、障害物を避けながら両アームを特定の位置まで伸ばすといった両手作業も含まれている。

研究チームは、GPUアクセラレーションと並列化を活用した手術シミュレータを開発することで、既存の手術フレームワークと比較して、ロボットの学習速度を1桁向上させた。研究チームは、1基のNVIDIA RTX GPUで、シャントの挿入や縫合針の持ち上げなどのタスクを2時間以内に完了できるよう、ロボットデジタルツインをトレーニングできることがわかった。

Omniverse上のレンダリングによって視覚的なリアリズムが可能になるため、ORBIT-Surgicalを活用すると、研究者は忠実度の高い合成データを生成することもできる。これは、手術室で撮影された現実世界のビデオで、手術器具のセグメンテーションなどの知覚タスクのためのAIモデルのトレーニングに役立つ可能性があるとしている。

研究チームによる概念実証（PoC）では、シミュレーションと実データを組み合わせることで、画像から手術針をセグメンテーションするAIモデルの精度が大幅に向上し、そのようなモデルのトレーニングのための大規模で高価な実世界のデータセットの必要性を減らすことができることが示された。