【びっくり】NTT、バーチャルキャラクターが鏡から飛び出す「超鏡空中像表示システム」を開発　手の動きに反応するキャラや展示物

2024年7月30日 By ロボスタ編集部

NTTは、デジタル情報が鏡の内外を自在に行き来できる超鏡空中像表示システムを、世界で初めて開発した。これにより、鏡の内外を問わずデジタル情報を高い実在感で表示し、インタラクティブかつ直感的な操作が可能になるとしている。

尚、開発の成果は、2024年7月28日から開催される世界最大のCG国際コンベンション「SIGGRAPH2024 Emerging Technologies」で展示される。

鏡に映ったユーザとデジタル情報やバーチャルキャラクタを並べて表示

従来、デジタル情報を日常空間に溶け込ませる技術の一つとして、半透明な鏡（ハーフミラー）の裏にディスプレイを設置して、鏡の中に情報を表示するミラーディスプレイが提案されている。この技術は鏡に映ったユーザとデジタル情報やバーチャルキャラクタを並べて表示できるなど、その誘目性の高さから、サイネージや各種アトラクションで利用が進んでいる。

また同様に、ディスプレイの存在を意識させずに映像を空間中に結像させる空中像技術も提案されており、ライブイベントやスポーツ観戦への応用が進められている。

しかし従来のミラーディスプレイや空中像技術では、デジタル情報を表示できる領域は鏡の中、もしくは鏡の外のいずれかに限定されており、鏡面という物理的な制約に縛られないデジタル情報の表示が困難だった。

成果の概要

超鏡空中像の視聴イメージ。鏡の中の空中像（左上）と鏡の外の空中像（左下）。

本研究では、鏡の中と外をデジタル情報が自在に移動できる超鏡空中像表示システムを開発した。このシステムによって、バーチャルキャラクタを鏡の中に表示する従来のミラーディスプレイのような映像表示だけでなく、バーチャルキャラクタが鏡の外に飛び出し、ユーザと同じ空間を共有するフィクションのような体験を実現できる。

今回開発したシステムでは、移動機構を備えたディスプレイの映像を再帰反射（光源からの入射光をそのまま光源方向に返す反射）によって空間中に結像させることで、複数のユーザがVRゴーグルや3Dグラスなどの装着物なしに同時に超鏡空中像を視聴することができる。

技術のポイント

1：リアル空間とバーチャル空間をつなぐ超鏡空中像光学系

超鏡空中像の光学系と動作。鏡の中への空中像表示（左）と鏡の外への空中像表示（右）

上記の図は超鏡空中像の光学系とその動作を示す。

光源となるディスプレイからの出射光はハーフミラーで反射されたのち、再帰反射材（再帰反射材の身近な利用例として道路標識があり、ヘッドライトの光が返ってくることで運転手が文字などを明るく視認できる）で再帰反射される。この光がハーフミラーを透過し、空間中に空中像として結像される。

ディスプレイは移動機構を備えており、空中像の奥行位置を中央のハーフミラーをはさんで前後させることで、空中像が鏡の中と外を連続的に行き来するという超鏡空中像ならではの現象を提示できます。また、ハーフミラーを三面鏡のように配置することで、空中像が結像されるまでの光路長（光源から出射された光が空中像として結像されるまでの光の通り道の距離）を大きく伸ばすことなく、空中像を視聴できる範囲を拡大し、視聴できるユーザ数を増やせる。（関連記事「【NTTの新技術】中村獅童×初音ミク「超歌舞伎今昔饗宴千本桜」と驚きの「裸眼XR 初音ミクあいせき」体験レポート【歌舞伎座で初公演】」）

2：直感的なインタラクション手法

鏡の中（左）と外（右）の空中像とのインタラクション

従来の空中像技術では、空中像に直接手を伸ばすなどの直感的なインタラクション手法が多く用いられており、超鏡空中像表示システムでも、鏡の外に表示された空中像に対しては同じ手法を適用できる。くわえて、「超鏡空中像表示システム」ではユーザが手を伸ばすことのできない鏡の中の空中像にも同様に直感的な操作を実現する手法を考案した。

まず、リアル空間のユーザの手の位置座標をセンサで取得する。空中像を鏡の外に表示するときは、ユーザの手の座標をそのまま使って空中像を操作。空中像を鏡の中に表示するときは、鏡に映った手の座標を算出して空中像を操作する。このように空中像の表示領域に応じて座標を切り替えることで、ユーザは鏡の内外を問わずに空中像と直感的にインタラクションができる。