ニュース NTT R&Dフォーラムアバターメタバース身体拡張 IoT VR/AR/MR NTTグループ

NTT わずかな筋の動作を操作命令につなげる入力インタフェースを開発　重度身体障がい者の脳信号や視線入力操作に活用

2023年11月10日 By ロボスタ編集部

NTTは、四肢等肢体が不自由である重度身体障がい者のメタバースを通じた豊かなコミュニケーションやつながりの実現に向けて、残存しているわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発した。

これにより、重度身体障がい者が脳信号入力や視線入力に加えて表面筋電信号入力を自分の意思を伝えるための身体拡張技術として利用できるようになるとしている。

背景

24時間介護の必要な重度身体障がい者は、自宅や施設など限られた空間の中で過ごすことが多く、外部との交流や社会参画を望んでも、コミュニケーションやICT機器操作が壁となり、極めて困難なのが現状である。そこで、重度身体障がい者が自分の意思を伝えるための技術（AAC：Augmentative and Alternative Communication technologies）の研究開発が世界中で取り組まれている。特に筋肉の萎縮をきたす疾患と共生する重度身体障がい者の方々は、身体運動が大きく制限されるため、脳波センサ（EEG：ElectroEncephaloGraphy sensor）などの計測波形に基づく脳信号入力や視線入力が主な技術対象となる。

NTTは、障がいのある方だけでなく、サポートする方々も含めた人間中心設計の視点で課題を解決していくProject Humanityの一環として、重度身体障がい者が豊かにコミュニケーションや社会との豊かなつながりをもてる技術創出を目標として研究をしており、今回、重度身体障がい者のメタバースへの身体拡張に向けて、検討事例が少ないものの、身体動作との関係の深い筋電センサ（sEMG：surface ElectroMyoGraphy sensor）に着目。メタバースへの非言語表現やICT機器操作を拡張する新たな身体拡張技術として、残存しているわずかな筋の動作をメタバースへの操作命令につなげるsEMGを活かした入力インタフェースを開発した。

入力インタフェース設計のポイント

筋がわずかでも動けば、sEMGセンサによりsEMGを計測することができる。実際、あるALS共生者が、わずかに動かせる身体部位の身体位置情報とその部位の動作に寄与するsEMGを計測した結果を見ると、数mmの身体部位の動きに対してsEMGが観測された。

安静時の状態を基準にした時の各身体部位に取り付けたモーションキャプチャマーカーが移動した距離（青線）と表面筋電センサ（身体部位に取り付けた赤点の位置）が計測した表面筋電位を二乗平均平方根（RMS：Root Mean Square）処理した値（赤線）を示した図

次にある身体部位を意図して動かそうとするときに、別の身体部位の筋も反応している場合がある。実際に、指示された身体部位をALS共生者が動作させている区間（黄色の帯部分）において、別の身体部位の筋が反応している様子が観測された。意図した身体部位の筋を抽出する技術として、安静時のような筋の脱力された状態をsEMGの基準値に設定するキャリブレーションと、筋収縮の動作判定に使用される閾値の設定を身体部位ごとに設定することがポイントとなる。本技術を活かしたALS共生者によるDJパフォーマンスのステージでは、曲が流れた直後の安静状態を基準値となるように設定し、実際のDJパフォーマンス時の力みの状態に合わせて閾値を設定した。

また、EMGセンサにより計測された連続的なsEMGからメタバースへの操作命令に変換する上で考慮すべきポイントは、筋疲労になる。重度身体障がい者は、筋力および筋持久力が衰えるため、身体部位の動作を節約しながらメタバースへの意図した操作命令を実現することが必要。そこで、筋を長時間収縮し続けることや筋収縮に強弱をつけることによる操作命令を避け、その代わりに、各身体部位の筋収縮の動作判定に応じて各操作命令が決定する方針にした。さらに各操作命令に対応するアバター動作が一定時間反映されるようにした。同じ操作命令を繰り返した場合、反映されるアバター動作時間が延長されるようにした。

sEMGのRMSが閾値を超えたときの操作命令に伴うアバター動作の挙動の一例：上記の例では、左手の指の動作が認識されてからアバターは3秒間手を挙げる動作を実施し、手を挙げている最中に追加で左手の指の動作が認識されると、その時点から3秒間手を挙げる動作に更新される

例えば、指の伸展動作に応じてメタバース空間上のアバターが手を挙げる場合、伸展したことを検知する技術と、伸展に応じて上がったアバターの手は一定時間上がり続けることが考えられる。一見、リアリティが失われ、効果的ではないと思われるが、本技術を実体験したALS共生者は、自分が意図した通りにアバターが動作していることで自分自身の身体動作を通じてアバターを動作できていると実感することができた。過去のAAC技術の評価は操作速度と動作に対するリアリティのある反応に重点を置かれることが多い中で、動作を節約するという考え方は新たな設計思想になりうるとNTTは考えている。

メタバース操作の実装事例紹介

1：アバターによるDJパフォーマンス

DJパフォーマンス実現のために構築したシステムの構成と各社の役割

NTTとDentsu Lab Tokyoと連携し、本技術と、Dentsu Lab Tokyoの視線入力とアバター表現を組み合わせたメタバースでのDJパフォーマンスを実現するシステムを構築。このシステムを用いることで、ALS共生者は、視線入力でこのようにアバターを動かしたいという意思（動きの種類）を読み取り、実際のアバターの動きに反映できる。さらにDJでもあるWITH ALS代表の武藤将胤氏が東京から遠隔でオーストリアのリンツで開催されたArs Electronica Festival 2023のステージでDJパフォーマンスを披露した。

sEMGを活用したゲーム操作

実装したゲームと本技術を用いた筋電入力シーンの一例

本技術によりアバター向け操作命令の代わりにゲーム向け操作命令に変換させることで、ゲーム内キャラクターの操作を実現。多様な機器が開発される中、わずかな動きでゲーム操作を実現できる表面筋電センサは、今後様々な分野での活用が期待できる。特に、eSportsを通じたICT機器の操作性の向上や人とのつながりは将来の社会参画につながる大事な要素になる。

今後の展開

2024年度には、障がいの程度に合わせることが可能な技術に改善し、さらに多様なコミュニケーション表現に発展させ、メタバース空間やロボットを介したリアル空間で、障がいがあるというバックグラウンドを感じさせないコミュニケーションの実現を目指すとしており、NTTは、このような多様なコミュニケーションを通じ、重度身体障がい者の方々が、自己実現を図り、社会参画できる未来に貢献していくとのことだ。

尚、本技術を利用したアバター操作やゲーム操作は2023年11月14日～17日に開催されるNTT R&D フォーラム2023 IOWN ACCERALATIONで展示される。