【NTTの新技術】中村獅童×初音ミク「超歌舞伎 今昔饗宴千本桜」と驚きの「裸眼XR 初音ミクあいせき」体験レポート【歌舞伎座で初公演】

ニコニコ超会議を起点に人気が爆発し、幕張や京都などで上演してきた中村獅童×初音ミクの「超歌舞伎 Powered by NTT 今昔饗宴千本桜」(はなくらべせんぼんざくら)が、ついに歌舞伎座において初めて上演されている。
ロボスタ編集部も早速これを観劇、更には「裸眼XR 初音ミク あいせき」も体験し、キャッチコピーの「初音ミクに本当に近寄られたようなドキドキ感」を体験してきた。

歌舞伎に「最新デジタル技術を融合した新しい挑戦」と言ってもよいだろう「超歌舞伎」はNTTと松竹が連携し、IOWN構想に基づく新技術が多数採用されている。

早速、ロボスタ編集部も「超歌舞伎 Powered by NTT 今昔饗宴千本桜」を観て、新技術を体験しに歌舞伎座に行ってきた。結論から言うと、今までの「超歌舞伎」が新技術によって更に進化し、全く新しいエンタテインメントとしての「歌舞伎」を楽しむことができる。本当におすすめ。

IOWNの技術で初音ミクがリアルレスポンスで動く

今回、使われているNTTの新技術はいくつかあるが、最も驚きなのがIOWNの超高速通信技術(光通信)によって、舞台上の初音ミクが超遅延レスポンスで動いていることだ。舞台上の中村獅童さんはもちろん実物が演じているが、実は舞台上の初音ミクもVTuberのように、都内の遠隔スタジオにいる演者の動きをIOWNの光通信技術で劇場に送って動いている(一部は録画したものを使用しているが半分から大半が実演)。

全く遅延なく、獅童さんや他の役者さんとのやりとりが高品質の画質でおこなわれていることに驚いた。

初音ミクとふたりでリアルに「裸眼XR 初音ミクあいせき」

低遅延でリアルタイムでやりとりできる最新技術を確認するため、この日は報道関係者が遠隔の演者の動きをモーションキャプチャーした初音ミクが登場する「裸眼XR 初音ミクあいせき」が用意されていた。

ハーフミラー仕様の専用ディスプレイ内に美しく立体的に浮かび上がった初音ミクと、声やアクションでアプローチすると、初音ミクが遅延や不自然なく、それに同調したり、リアクションしてくれた。

筆者も真っ先に体験して、初音ミクとジャンケンをしてみた。遠隔通信でのジャンケンは低遅延な高速環境でないと成立しないが、こちらも全く不自然なくおこなわれた(ジャンケンは僕が負けました)。

なお、「あいせき」の初音ミクも、歌舞伎の舞台で美玖姫を演じている演者と同一の方が担当している。

■動画

ここで耳よりなお知らせ。実は、歌舞伎座で「超歌舞伎」を観劇に来る一般の来場者にも、初音ミクと二人きりのやりとりを体験するチャンスがある。e+のみの販売となるが、この体験付きのチケットが販売されている。リアルですごく綺麗でなめらかに動く初音ミクとの時間を体験してみたい人は、そのチケットをゲットしよう。

■技術的なしくみ

バイリンガルな獅童ツイン

IOWN構想の柱である、デジタルツインコンピューティング構想を活用した「Another Me」技術によって、中村獅童さんのデジタルツイン（デジタルヒューマン）「獅童ツイン」が誕生した。今回の演目でも「獅童ツイン」は冒頭で登場し、日本語と英語で挨拶した。

驚くことに、獅童ツインはこのとき獅童さんの声(音声合成)で話すのだが、獅童さんの声の学習データは約2分のデータ、しかも日本語のみということだった。

ちなみにこれは「クロスリンガル音声合成技術」と呼ばれるもので、不自然のない獅童ツインの動きを自動で創り出す「モーション生成技術」と相まって、獅童ツインを更に進化させている。

3D点群メディア処理技術と舞台演出のコラボ

「超歌舞伎 Powered by NTT 今昔饗宴千本桜」をこれから観に行く、という人は、冒頭に登場する「千本桜」に注目して欲しい。この千本桜はストーリー上、最も重要なもののひとつで世界観を創りあげるものだが、いわゆる自動運転や搬送ロボットなどでも使用されている点群データによって作られている。

もちろん、リアルスティックな世界観を実現するならば、レイトレーシングを多用した高精度なCG技術が既に確立されているが、NTTと松竹はあえて日本画や、サクラの散る様を表現するために、舞台演出の中嶋正留氏の監修を受けて、あえて点群データから作成した3D千本桜を採用している。

イヤホンガイドに「耳スピ」体験

NTTは独自のプライベート音空間を実現する音響制御技術PSZ(Personalized Sound Zone)を持っていることを覚えているだろうか。オープンイヤー型なのに音漏れしない「nwm」(ヌーム)ブランドのイヤホンは商品化され、ロボスタでも紹介してきた。別名「耳スピ」(耳スピーカー)だ。


今回、歌舞伎座で貸し出しをしているイヤホンガイドにこの「耳スピ」を装着したものが報道関係者向けにレンタルされた。イヤホンガイドは歌舞伎を観ながら、副音声的に俳優や衣装を紹介したり、あらすじの捕捉、ストーリー展開の背景などを効果的に解説してくれる、つまり初心者でも歌舞伎をたっぷり楽しむことができ、「萬屋(よろずや)」や「播磨屋」「中村屋」など「大向う」(掛け声)のタイミングなども教えてくれる。

イヤホンガイドにオープンイヤー型の「耳スピ」を使うことで、歌舞伎の実際の音声や楽曲の音は直接、耳に届きつつ、解りやすい解説が「耳スピ」から副音声的に聞こえてきて、普段、馴染みのない歌舞伎が、解説付きでとても楽しく観劇できた。

「超歌舞伎 Powered by NTT 今昔饗宴千本桜」開催概要

この記事を読んだ人におすすめ

関連する記事はまだありません