パナソニック、ロボット操作AI「T-Rex」をNVIDIAや海外大学などと共同開発 12種類の実環境タスクで平均成功率65%

パナソニック、ロボット操作AI「T-Rex」をNVIDIAや海外大学などと共同開発 12種類の実環境タスクで平均成功率65%
  • パナソニック、ロボット操作AI「T-Rex」をNVIDIAや海外大学などと共同開発 12種類の実環境タスクで平均成功率65%
  • T-Rexのモデルアーキテクチャ:視覚・言語に基づく低頻度の動作生成を、指先の触覚情報に基づく高頻度の動作修正で補完する

パナソニック ホールディングス(パナソニックHD)とパナソニックR&Dカンパニーオブアメリカ(PRDCA)は、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者らと共同で、指先の触覚に即応しながら器用な両手作業を行うロボット操作AI「Tactile-Reactive Dexterous Manipulation(T-Rex)」を開発したと発表した。

研究成果は、2026年11月9日から12日まで米国オースティンで開催されるロボット学習分野の国際会議「Conference on Robot Learning(CoRL)」で発表される。

視覚・言語のVLAモデルに触覚を統合

T-Rexは、視覚と言語の情報からロボットの動作を生成するVLA(Vision-Language-Action:視覚言語行動)モデルに、指先の触覚情報を統合したものだ。接触状態の変化に応じて、動作をリアルタイムに補正できる。

人は、薄いカードを引き出す、鍵を差し込んで回すといった作業で、視覚だけでなく、指先で感じる力や滑り、変形に応じて動きを瞬時に調整している。一方、従来のVLAモデルは主にカメラ映像に依存する。触覚を使う場合でも静的な情報として扱うことが多く、細かな力加減や接触状態の変化が求められる作業への対応が難しかったという。

さらに、触覚情報を含む大規模な学習データが乏しいことや、視覚・言語モデルの更新頻度が低く、高速な触覚反応に必要な制御頻度との間に隔たりがあることも課題だった。

低頻度の動作生成と高頻度の動作修正を一つのモデルに

T-Rexは、低頻度で行う「視覚・言語に基づく動作生成」と、指先の触覚に応じた「高速な動作修正」を一つのモデルに統合している。視覚と言語を処理する動作生成モジュールが約5Hzで動作の大枠を生成し、触覚を処理する動作修正モジュールが約20Hzで接触状態を捉えて動作を細かく補正する。遅延の大きい画像認識を毎回やり直さずに、接触中の滑りや押し込み過ぎなどに素早く対応できるという。

学習データとして、研究チームは200種類を超える日用品と22種類の基本動作を組み合わせ、7,700件超、計100時間の両手ロボット操作データを収集した。各データには、頭部・手首カメラの映像、ロボットの状態と動作、10本の指先の触覚センサで得た力・変形情報、自然言語の指示が同期して記録されている。

学習は3段階で進める。まず22,889時間の人の一人称視点映像から幅広い視覚・動作の知識を学習する。次に触覚付きデータでロボット固有の接触動作を学習(中間学習)し、最後に作業ごとに約100件の実演データでファインチューニングする。

T-Rexのモデルアーキテクチャ:視覚・言語に基づく低頻度の動作生成を、指先の触覚情報に基づく高頻度の動作修正で補完する

12種類の実環境タスクで平均成功率65%

評価では、ページめくり、卵の移し替え、歯磨き粉の塗布、鍵開け、カードの取り出し、電球のねじ込みなど、接触を伴う12種類の実環境タスクを用いた。T-Rexの平均成功率は65%で、比較した従来手法の35%を30ポイント上回った。パナソニックHDは、この評価(2026年11月5日時点、同社調べ)で最高性能を達成したとしている。

触覚情報を除いた場合の平均成功率は42%にとどまった。触覚情報と高速な反応機構の双方が性能に寄与していることを確認したという。

製造・物流現場での活用を目指す

今後は、製造現場における部品の挿入・取り外し・ねじ締めや、物流現場での柔軟物・壊れやすい物品の取り扱いなど、細かな力加減や接触状態に応じた調整が必要な作業をロボットが支援することを目指す。これにより、現場作業者の負担軽減と労働力不足の緩和に貢献したいとしている。

論文のタイトルは「T-Rex: Tactile-Reactive Dexterous Manipulation」で、arXivで公開されている。本研究は、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、PRDCA、ローマ・ラ・サピエンツァ大学、ItalAIによる共同研究だ。


ロボスタオンラインセミナー情報

■自民党ロボット議連・山田太郎事務局長が語る『日本のフィジカルAI開発戦略』

日本はフィジカルAIでどう勝つのか。ロボット基盤モデル、VLA、実世界データなどの技術動向から、国家戦略の実行ロードマップまで。技術と政策の両面から読み解く85分間。

ロボスタでは、米PTCでの勤務や製造業向け企業の経営経験を持ち、現在はロボット議員連盟の事務局長としてAIロボティクス政策を推進する参議院議員・山田太郎氏をお招きして、オンラインセミナー「日本はフィジカルAIでどう勝つのか ~ロボット議連・山田太郎事務局長が語る「AIロボティクス戦略」実行フェーズ~」を11月13日(金)に開催します。

【オンラインセミナー#30】日本はフィジカルAIでどう勝つのか ~ロボット議連・山田太郎事務局長が語る「AIロボティクス戦略」実行フェーズ~

日本が強みを持つ産業用ロボットや製造業、部品・制御技術を、ロボット基盤モデルの開発や実世界データの収集・活用にどう結びつけ、国際競争力を高めていくのか。
政府が掲げる「AIロボティクス戦略」、経済産業省の「GENIAC」、国産マルチモーダル基盤モデル開発プロジェクト「FRONTia」などについても掘り下げます。
詳しくはこちら

■Honda「P2」「ASIMO」の開発者、竹中氏が登壇

日本では約30年前から、人と共存するヒューマノイドの研究開発が進められてきました。その象徴的な存在が、Hondaの「P2」と「ASIMO」です。2026年4月には、その歴史的な技術的功績が評価され、「P2」が「IEEEマイルストーン」に認定されました。

ロボスタでは、Honda「P2」「ASIMO」の開発を中核で担った竹中透氏をお招きし、オンラインセミナー「Honda「P2」「ASIMO」が残した軌跡 開発者・竹中透氏が語るヒューマノイドの原点とフィジカルAI時代の未来」を2026年11月25日(水)に開催します。

【オンラインセミナー#31】Honda「P2」「ASIMO」が残した軌跡 開発者・竹中透氏が語るヒューマノイドの原点とフィジカルAI時代の未来

当時のヒューマノイド開発の舞台裏と、そこから生まれた技術や開発思想、試行錯誤やブレークスルーについてお話しいただきます。
また、フィジカルAIによってヒューマノイドが再び世界的な注目を集める中、今後の技術進化や未来展望についても議論します。
詳しくはこちら

■フィジカルAIネイティブ「国産セミヒューマノイド」の全貌

ロボスタ・オンラインセミナーとして、警備・点検などの業務用ロボットを社会実装し、国産セミヒューマノイド「ugo Nova」の開発を進めるugo株式会社の松井健CEOをお招きして「国産セミヒューマノイド「ugo Nova」の全貌 松井CEOが語るフィジカルAI開発戦略と社会実装の最新動向」を、2026年12月15日(火)に開催します。

セミナーでは、ugoの松井健CEOを再びお招きし、「ugo Nova」の開発背景や従来機からの進化・強化ポイント、ロボット基盤モデルの仕組みと開発戦略などについて、具体的に解説していただきます。
また、AIロボット協会(AIRoA)が実施する「国産汎用ロボット開発コンペティション」での改良機開発フェーズへの進出をはじめ、共同プロジェクトの最新動向についても伺います。
詳しくはこちら

《ロボスタ編集部》

関連タグ

ロボスタ編集部

ロボスタ編集部

ロボスタ編集部では、ロボット業界の最新ニュースや最新レポートなどをお届けします。是非ご注目ください。

ニュースレター配信中!無料会員登録をしていただくと、定期的に配信されるニュースレターを受け取ることができます。また会員限定の記事を閲覧することも可能になります。

編集部おすすめの記事

特集