ニュース VR アバターヒューマノイドムーンショットムーンショット型研究開発事業遠隔操作サービスロボットテレプレゼンスロボットロボット Yui 東京電機大学電気通信大学

アンドロイドアバター「Yui」とVRゴーグルで「視聴覚の共有による臨場感」を実現　操作者の表情をアバターで再現　電通大と東京電大

2024年3月11日 By ロボスタ編集部

電気通信大学と東京電機大学は、操作者が“憑依”できるアンドロイドアバターを開発したことを発表した。視聴覚の共有による臨場感と、操作者の表情をアバターで再現して存在感を両立する、としている。アンドロイドアバターには、人と人を結び付ける存在となることを期待して「Yui」と名付けた。

アンドロイドアバターと装着者の表情を測定可能なVRヘッドセット

研究グループは、操作者の視線、発話に伴う口の動きや表情を再現可能な遠隔操作型アンドロイド（アンドロイドアバター（※1））の頭部ユニットとその操作インタフェースを開発し、アバターを介していても、まるでその場に相手がいるかのような遠隔コミュニケーションを実現した。

アンドロイドアバター「Yui」は、首の運動を含めて頭部の28か所が変形・動作可能な頭部ユニット。装着者の表情を測定可能なVRヘッドセットを用いることで、操作者の表情をアバター上に再現。それとともにアバター上の複数のカメラとマイクで取得した映像と音声を操作者に提示し、高い臨場感を得られるようにする操作インタフェースも開発した。
開発したアバターとインタフェースは簡易的な実験およびデモンストレーションを通じてその効果を確認ました。この成果は、米国電気電子学会（IEEE）のオープンアクセス誌IEEE Accessに掲載された。

開発したのは、電気通信大学大学院情報理工学研究科機械知能システム学専攻の仲田佳弘准教授と、東京電機大学未来科学部ロボット・メカトロニクス学科の中島瑞助教（開発当時電気通信大学同専攻特任助教）、電気通信大学大学院情報理工学研究科機械知能システム学専攻博士前期課程1年の新川馨子氏の研究グループ。

研究グループは「これまでにもアバターを用いた遠隔コミュニケーションは研究されてきたが、操作者の表情を再現すると同時に操作者に高い臨場感を提供することができるシステムは実現されていなかった」としている。

操作者とアンドロイドの対面者、双方の体験を同時に向上

研究グループによれば、従来の遠隔操作型ロボットは、主に操作者の操作性や利便性に焦点を当てて研究されてきた。遠隔地でタスクを実現するために、快適な視覚情報の提供や繊細な操作のための触覚のフィードバックといった、操作者側の体験を高めるための研究が盛んに行われている。
それとは別に、人に近い見た目を持つロボットであるアンドロイドも開発されてきた。人に近い見た目を利用して、人に近い表情やふるまいを再現することで、人との円滑なコミュニケーションの実現を目指した研究が行われている。

これらの従来研究では、操作者もしくはアンドロイドの対面者のどちらか一方の体験（操作者の感じる臨場感もしくはアンドロイドに感じる人の存在感）を重視して研究されており、「双方の体験を同時に向上させる」システムの開発や遠隔コミュニケーションに関する深い議論は今までされて来なかったとしている。

アンドロイドの目と耳を最新のVRヘッドセット技術と接続

この研究では、人に近い見た目を持ち、首の運動を含めて頭部の28か所が変形・動作可能なアンドロイドアバター「Yui」を開発し、その豊富な頭部の変形・動作によって、人のような喜怒哀楽の表情を実現した。

「Yui」が喜怒哀楽を再現したときの表情の変化の様子。最下部の画像はデモンストレーションでの会話中に操作者が笑った様子がYuiで再現された様子

また、Yuiの両目、両耳には感覚器としてステレオカメラとステレオマイクが内蔵されており、Yuiがいる場所で見える映像、聞こえる音声を取得し、映像表示用のディスプレイと音声提示用のスピーカーが搭載されているVRヘッドセットを通じて操作者に送ることができる。
すなわち、視差を含む映像や空間の音響効果を含んだ音声を、操作者は立体映像と立体音響で取得することができるため、実際に見えていなくてもどちらから呼びかけられたかということを音の情報から知ることができる。

Yui頭部の全体像とカメラ、マイクの詳細。最上部の画像はデモンストレーションでの会話中に操作者(最下部)が笑った様子がYuiで再現された様子

さらに、VRヘッドセットには、操作者の頭部の回転や目、眉や頬といった顔の部位の変化が取得可能なセンサーと発話を取得するためのマイクも搭載。操作者の頭部の動きの情報をもとにYuiを動作させることで、操作者とYuiの表情を同期する。マイクで取得された音声は、Yuiの胸部に埋め込まれたスピーカーから再生されるため、操作者と対面者の間でコミュニケーションが可能となっている。

【ポイント】
＊生命感のある遠隔操作型アンドロイドの頭部ユニットと没入型の操作インタフェースを開発
＊操作者の多様な表情をアンドロイドの表情として再現し、操作者の存在感・感情を伝達
＊カメラ・マイクで取得した立体映像・音響をVRヘッドセットで視聴することで高臨場感を得られる
＊操作者が得る臨場感と対面者が得る操作者の存在感の両立による、対面のような遠隔コミュニケーションの実現に期待

アバターとVRヘッドセットが操作者と対話者の双方に作用

操作者の発話や表情をYuiと同期させながら、操作者に対して臨場感の高い映像や音声を提示することが可能なシステムが開発され、開発者による簡易な実験とデモンストレーションによる動作検証が実施された。デモでは、会話の合間にこぼした笑みや目元の動きがアバター上で再現されることで、アバターを介したコミュニケーションによって対面者が操作者の存在感を感じることが可能であると示唆された。
また、両目と両耳に搭載したステレオカメラ、ステレオマイクを利用することで、見ている対象との距離や相対的な位置関係といった立体情報、聞こえてくる音声の左右の偏りに伴う音源の位置情報が提示された。これらの操作者への情報提示は、操作者に対してまるでその場に相手が居るかのような、高い臨場感を伴った体験を提供することが期待できる。
結果として、操作者が得る臨場感と対面者が得る操作者の存在感を両立するアバターシステムが実現されました。

今後の展開と期待

開発したシステムを用いることで、ビデオ会議や音声通話と比較して、より対面に近い形でのコミュニケーションが実現され、遠隔地からでも満足感の高いコミュニケーションが期待できる。また、細やかな気遣いや信頼が必要とされる診察や面談といったシーンへの応用も期待できる。
さらに、操作者の表情の単純な再現ではなく強調や抑制といった様々な効果を付加することで、感情の伝達効果を高めたり、逆に弱めたりといった、付加的な効果を持たせたコミュニケーションの実現も期待できる。研究グループは「操作者の特性やシーンに合わせて感情の伝達特性を変化させることで、将来的には対面を超えるコミュニケーションの実現も可能であると考えています」とコメントしている。

【論文情報】
著者名：Mizuki Nakajima, Kaoruko Shinkawa, Yoshihiro Nakata
論文名：Development of the Lifelike Head Unit for a Humanoid Cybernetic Avatar ‘Yui’ and Its Operation Interface
雑誌名：IEEE Access
DOI：10.1109/ACCESS.2024.3365723
公表日：2024年2月13日（Early Access）

【外部資金情報】
本研究の一部は、JSTムーンショット型研究開発事業JPMJMS2011の支援を受けたもの。