ニュース MEMS ハプティクス力触覚 IoT VR/AR/MR ロボット NEDO 東北大学株式会社Adansons 産総研筑波大学

指先の触覚情報を手首で計測、他者に伝える双方向リモート触覚伝達システムを発表　NEDO･産総研･東北大学･筑波大学･Adansons

2025年4月1日 By ロボスタ編集部

NEDOが進める「人工知能活用による革新的リモート技術開発プロジェクト」において、産総研、東北大学、筑波大学、Adansonsは、2024年3月に発表した極薄ハプティックMEMSによる触覚デバイスと触覚信号編集技術を組み合わせることで、指先で触れる触覚情報を手首で計測して他者に伝えることを可能とする双方向リモート触覚伝達システムを開発。これを基盤とした実用例としてAR技能教育システムと心拍数共有アプリと、その性能を向上する技術を開発した。

今後、産総研、東北大学、筑波大学、Adansonsは、本事業の成果を活用し、ものづくりで利用する技能体感教育システムの開発や、心拍数共有アプリのさらなる性能向上、および、汎用信号処理ソフトウェアの提供を進める。これにより、これまで世代を超えて伝承が困難であった触覚を手軽に記録して共有できる社会の実現を目指す。

触覚技術の重要性

ものづくりの分野では、少子高齢化に伴い、職人の高度な技能の記録や伝承、自動化が求められている｡しかし、繊細な技能動作に関わる体感の違いを比較し、分かりやすく教示することが大きな課題だった｡
特に「工具でものを削る・擦る」といった動作により発生する繊細な触覚は、従来の力覚提示装置や振動装置で忠実に再現することは、ハードウェアの応答限界のために困難だった。

また、コロナ禍では、インターネットを活用して離れた人と交流する機会が増加した一方で、視覚と聴覚のみによる交流では、対面と比較してコミュニケーションが難しく、孤独感を訴える人もいた。

これらの課題を解決するためにNEDOが進める「人工知能活用による革新的リモート技術開発プロジェクト」において、産総研、東北大学、筑波大学、Adansonsは、極薄ハプティック、MEMSによる触覚デバイスと触覚信号編集技術を組み合わせた、双方向リモート触覚伝達システムの開発に取り組んだ。

各者の役割

東北大学	リアルな触覚を再現するAR技能教育システムの開発
筑波大学	疑似心拍振動による社会交流促進の実証と心拍数共有アプリの開発
産総研	皮膚内部の歪み（ひずみ）を可視化する独自の触覚デバイス設計・評価技術の開発
Adansons	自然言語を活用した人間とAIが双方向に“ネゴシエーション”する触覚信号分離／編集ソフトウェアを開発

今回の成果

1：リアルな触覚を再現するAR技能教育システムの開発

個人差補正、可視化による技能再現誤差の低減

東北大学は、作業者が手で感じる振動体感を、手先から手首に伝わる振動波形を手首に装着した腕輪型デバイスで計測し、触覚の知覚量に基づく信号処理技術を用いることにより、作業者が感じる触覚の知覚量を数値化し、AR（Augmented Reality）システムを介して空間に投影することで、作業体感の可視化に成功した｡

また、記録した触覚は、腕輪型デバイスに内蔵されたバイブレーターを用いて、振動体感を忠実にバイブレーターで再生することが可能｡このように手首位置で振動体感を記録し、忠実に再生するには、記録する作業者と体験者間における手指からの振動の伝わりやすさの個人差を補正したり、小型のバイブレーターでも再生できる信号に変換する必要がある｡開発した触覚知覚量に基づく触覚信号の強調技術を用いて、個人差を補正し、バイブレーターが提示する体感量を忠実に制御することが可能になった｡これにより、世界で初めて、個人の触覚の伝わりやすさの違いを補正しながら、振動体感を共有可能なAR技能教育システムを実現した｡

グラフはヤスリ動作を記録しておいた教師役の運動と振動体感に基づき、3人の被験者がARシステムを用いて再現を試みた実験の結果を示しており、教師のヤスリの接触角度および法線力に対する誤差をプロットしている｡振動体感を補正し、さらにARシステムで可視化することにより、ヤスリの接触角度とヤスリで加えた法線力の誤差およびそのばらつきが低減することから、被験者が教師の動作をより正確に再現できる可能性を示している。

2：疑似心拍振動による社会交流促進の実証と心拍数共有アプリの開発

心拍数共有アプリ

筑波大学は、これまでに開発した疑似心拍振動により、従来の覚醒の度合いを示す感情の表現に加え、「快―不快」の感情の表現が可能であることを実験により確認した。また、この疑似心拍振動を介してカメラやウェアラブルデバイスから計測した表情や心拍数などの生体信号を伝達することにより、相手の存在感が強まることを実験により確認した。これらの実験の成果を基に、手軽に二者間で振動を介して心拍数を共有可能なiPhoneおよびApple Watchユーザー向けの心拍数共有アプリを一般公開した。ビデオゲームで対戦している際の二者間や、競技中のアスリートからコーチまたは視聴者など、さまざまな場面で相手の心拍数の変化に触れる体験を提供する。

3：皮膚内部の歪を可視化する独自の触覚デバイス設計・評価技術の開発

極薄ハプティックMEMSデバイスが皮膚に生じさせる歪分布可視化結果

産総研では、独自に開発した極薄ハプティックMEMSデバイスによる振動刺激性能を向上させるために、皮膚ファントムと非接触式の計測装置を組み合わせることで、皮膚内部に生じる歪み分布を可視化・数値化する評価システムを構築した。これにより、振動がどのように伝達しているかを定量的、かつ正確に把握することを可能とした。

極薄ハプティックMEMSデバイスを組み込んだリストバンドデバイス

本評価システムでは、高速度カメラを用いた非接触式の測定法を採用しており、任意の振動波形について皮膚内を伝播する歪を可視化できる点が大きな特徴である。また、この評価技術を活用し、デバイスの貼付構造や皮膚と振動板の接触界面を最適化することで、振動知覚能を向上させられることを筑波大学との共同研究で実証した。

4：自然言語を活用した人間とAIが双方向に“ネゴシエーション”する触覚信号分離／編集ソフトウェアを開発

Adansonsは、独自の信号分離／特徴抽出技術「参照系AI」を活用し、触覚信号などのノイズが多く複雑な信号から、人間の意図どおりに伝えたい信号を抽出するための「体感ネゴシエーション」インターフェイスを開発した。従来、ノイズが多い環境や、信号が複雑に混合されている場合、既存手法では専門知識を持ってしても人間の狙い通りにノイズを分離することは難しく、非常に複雑な処理が必要だった。

参照系AIは、人間の意図や現象の特性、特徴量に基づいて信号を分解することが可能であり、今回、触覚領域において、LLMや映像解析AIと組み合わせることで、より簡単に人間の意図がAIに伝えられるようになった。さらに、AI側からも信号の意味や種別を判定し、信号分解方法や抽出する目的信号を提案する「ネゴシエーション」機構を開発したことで、AIと人間が双方向に意思決定しながら、簡単に複雑な信号を分解、抽出できるようになった。

本技術により、リアルタイムでの動画の動きや信号の特徴に応じた音源分離や信号生成、高ノイズ下での特定信号モニタリングなどが容易になる。また、人間とAIの対話による意思決定プロセスにより、これまでのように無作為にAIが選別した結果を受動的に受け入れるだけの体験から、AI自体を人間が制御し、安全な処理を行うという体験が可能となる。

今後の予定

「人工知能活用による革新的リモート技術開発プロジェクト」事業終了後、東北大学は、触覚知覚量に基づく振動体感の定量化および信号強調技術のソフトウェアライブラリの企業向けの試験提供を既に開始しており、2025年後半に技術をライセンスするスタートアップを創業する予定である｡また、記録した体感付きの動画をスマートフォンで配信するSDKや、触覚信号のオーサリングツール提供する予定である。

筑波大学は、心拍数共有アプリのアップデートにより、一対多を想定した心拍数のブロードキャスト機能や、一対一で心拍数を共有しながら対戦するミニゲームを追加する予定である。

産総研は、この評価システムと最適化手法をさらに発展させることで、ウェアラブル機器やヘルスケア分野をはじめとするさまざまな応用領域へ極薄ハプティックMEMSデバイスを展開し、より自然で高度な触覚フィードバックを実現していく予定である。

Adansonsは信号分離／編集ソフトウェアでは、今後対応領域を拡大し使用感の向上を図りながら、より多くの人が、AIと対話しながら、安心感と納得感を持って信号を制御できる技術開発を実現していく予定である。

これにより、これまで空間および時間を超えて伝承が困難であった体で感じる触覚体験を手軽に記録して共有できる社会の実現を目指すとしている。