口の動きや表情を真似する「Face Sharing技術」をドコモが共同開発 筋電刺激で動きを伝達 何に使うかと言うと・・

H2LとNTTドコモは、H2Lが提供する「BodySharing技術」の新技術として、自分の顔に他者の口の動きと顔の表情をリアルタイムに再現する「Face Sharing」を共同開発したことを発表した。

Face Sharingを活用することで他者に代わって自分が会話をすることや、他者の口の動かし方を実際に体験できるようになるため、遠隔からサポートを受けながら外国語での会話や、専門的な知識が必要な会話などを行うことが可能になる。


BodySharing技術とは、、、
「BodySharing技術」とは、筋変位センサーを活用し、手や腕などの身体情報をコンピューターと相互伝達することにより、人やロボット、VR・ARのキャラクターへ体の動きを伝えることができ、独自の触感提示技術により、他人の体験やVR・AR空間での体験を体に伝えることができる技術。


頬に装着したデバイスから他者の口の動きを再現

Face Sharingは、頬に装着したデバイスから口周りの筋肉に電気刺激を与えて収縮させることで、他者の口の動きやAIが指定する口の動きを再現する技術。複数のデバイスを用いることで、一人の口の動きを複数人に同時に再現することも可能。さらに、他者の顔の3D映像を自分に投影することで顔の表情を再現し、スピーカーを使用して他者の音声を再生することで声も再現できる。将来的には、口の動かし方の伝達が難しい外国語の発音や演技などを、直接口を動かして伝えることをめざしていくとしている。



■Face Sharing システム構成イメージ



同技術を高速・大容量、低遅延、多数接続の特徴をもつ5Gと組み合わせることで、遠く離れた場所でも他者の口の動きや顔の表情をリアルタイムに再現することや、より多くの人数で同時に同一の体験を共有することが期待できる。


■「Face Sharing」がめざす活用シーン例
・言語の違いなどで会話が難しい場合に他者やAIの語学力を使って円滑にコミュニケーションを取る
・プレゼンテーションの上手な人の口の動かし方や間の取り方を体感する
・プロの歌手の口の動かし方を学ぶ
・口を動かす練習用プログラムを組んだAIを使って、口の動きを習得する
・アニメーションキャラクターや動物の口の動き、顔の表情を体感する

「Face Sharing」は2020年1月23日(木)、24日(金)の両日に開催するドコモのイベント「DOCOMO Open House2020」で展示される。H2Lとドコモは今後も、「Face Sharingと、H2Lが提供する「BodySharing技術」の研究開発を推進し、身体全体への拡張を含めた検討をすすめていくとしている。

■両社の役割
H2L株式会社: 電気刺激による身体制御ノウハウ提供、研究開発の運営
株式会社NTTドコモ: 5Gネットワークの提供、研究開発の運営

ABOUT THE AUTHOR / 

山田 航也

横浜出身の1998年生まれ。現在はロボットスタートでアルバイトをしながらプログラムを学んでいる。好きなロボットは、AnkiやCOZMO、Sotaなどのコミュニケーションロボット。

PR

連載・コラム