エンタメニュース 3Dホログラム IOWN 低遅延通信初音ミク超歌舞伎 VR/AR/MR 人工知能 NTTグループ松竹

【NTTの新技術】中村獅童×初音ミク「超歌舞伎今昔饗宴千本桜」と驚きの「裸眼XR 初音ミクあいせき」体験レポート【歌舞伎座で初公演】

2023年12月5日 By 神崎洋治

ニコニコ超会議を起点に人気が爆発し、幕張や京都などで上演してきた中村獅童×初音ミクの「超歌舞伎 Powered by NTT 今昔饗宴千本桜」(はなくらべせんぼんざくら)が、ついに歌舞伎座において初めて上演されている。
ロボスタ編集部も早速これを観劇、更には「裸眼XR 初音ミクあいせき」も体験し、キャッチコピーの「初音ミクに本当に近寄られたようなドキドキ感」を体験してきた。

中村獅童さんと初音ミクの口上シーン。初音ミクはIOWN技術を使った超低遅延レスポンスの遠隔操作のため、獅童さんのアドリブにも不自然なく対応できる

超歌舞伎 Powered by NTT『今昔饗宴千本桜』最も華麗なツーショットの場面で、会場はペンライトで応えて最高の盛り上がりが見られた。©松竹／超歌舞伎Powered by NTT『今昔饗宴千本桜』

歌舞伎に「最新デジタル技術を融合した新しい挑戦」と言ってもよいだろう「超歌舞伎」はNTTと松竹が連携し、IOWN構想に基づく新技術が多数採用されている。

「分身」も千本桜シリーズの見どころのひとつ(今回は逆に、分身ではIOWN未使用のためタイムラグがある点に注目)

早速、ロボスタ編集部も「超歌舞伎 Powered by NTT 今昔饗宴千本桜」を観て、新技術を体験しに歌舞伎座に行ってきた。結論から言うと、今までの「超歌舞伎」が新技術によって更に進化し、全く新しいエンタテインメントとしての「歌舞伎」を楽しむことができる。本当におすすめ。

IOWNの技術で初音ミクがリアルレスポンスで動く

今回、使われているNTTの新技術はいくつかあるが、最も驚きなのがIOWNの超高速通信技術(光通信)によって、舞台上の初音ミクが超遅延レスポンスで動いていることだ。舞台上の中村獅童さんはもちろん実物が演じているが、実は舞台上の初音ミクもVTuberのように、都内の遠隔スタジオにいる演者の動きをIOWNの光通信技術で劇場に送って動いている(一部は録画したものを使用しているが半分から大半が実演)。

初音ミク演じる美玖姫が火炎を受けて弾くシーン。なんと遠隔からリアルタイムで演じている。©松竹／超歌舞伎Powered by NTT『今昔饗宴千本桜』

全く遅延なく、獅童さんや他の役者さんとのやりとりが高品質の画質でおこなわれていることに驚いた。

技術とは別に、獅童さん次男の小川夏幹さんの初舞台も話題に!!ほのぼの

初音ミクとふたりでリアルに「裸眼XR 初音ミクあいせき」

低遅延でリアルタイムでやりとりできる最新技術を確認するため、この日は報道関係者が遠隔の演者の動きをモーションキャプチャーした初音ミクが登場する「裸眼XR 初音ミクあいせき」が用意されていた。

不自然なくリアルに動く初音ミクの隣の席に座って、コミュニケーションできるチャンス。©CFM

ハーフミラー仕様の専用ディスプレイ内に美しく立体的に浮かび上がった初音ミクと、声やアクションでアプローチすると、初音ミクが遅延や不自然なく、それに同調したり、リアクションしてくれた。

©CFM

こちらの動きに即座に反応してくれる初音ミク。©CFM

筆者も真っ先に体験して、初音ミクとジャンケンをしてみた。遠隔通信でのジャンケンは低遅延な高速環境でないと成立しないが、こちらも全く不自然なくおこなわれた(ジャンケンは僕が負けました)。

ディスプレイは高輝度で、美しく初音ミクの姿と動きを映し出す　©CFM

なお、「あいせき」の初音ミクも、歌舞伎の舞台で美玖姫を演じている演者と同一の方が担当している。

■動画

ここで耳よりなお知らせ。実は、歌舞伎座で「超歌舞伎」を観劇に来る一般の来場者にも、初音ミクと二人きりのやりとりを体験するチャンスがある。e+のみの販売となるが、この体験付きのチケットが販売されている。リアルですごく綺麗でなめらかに動く初音ミクとの時間を体験してみたい人は、そのチケットをゲットしよう。

「え!? そ、そうなの?」初音ミクから内緒話も聞けちゃうかも!? (ミクさんはしゃべりません)　©CFM

■技術的なしくみ

バイリンガルな獅童ツイン

IOWN構想の柱である、デジタルツインコンピューティング構想を活用した「Another Me」技術によって、中村獅童さんのデジタルツイン（デジタルヒューマン）「獅童ツイン」が誕生した。今回の演目でも「獅童ツイン」は冒頭で登場し、日本語と英語で挨拶した。

自身の口上のあと、大画面の獅童ツインと話す獅童さん本人(左)

驚くことに、獅童ツインはこのとき獅童さんの声(音声合成)で話すのだが、獅童さんの声の学習データは約2分のデータ、しかも日本語のみということだった。

「クロスリンガル音声合成技術」で、英語、中国語、韓国語に自動翻訳できる

ちなみにこれは「クロスリンガル音声合成技術」と呼ばれるもので、不自然のない獅童ツインの動きを自動で創り出す「モーション生成技術」と相まって、獅童ツインを更に進化させている。

本人らしい動作をAIが自動生成する「モーション生成技術」

3D点群メディア処理技術と舞台演出のコラボ

「超歌舞伎 Powered by NTT 今昔饗宴千本桜」をこれから観に行く、という人は、冒頭に登場する「千本桜」に注目して欲しい。この千本桜はストーリー上、最も重要なもののひとつで世界観を創りあげるものだが、いわゆる自動運転や搬送ロボットなどでも使用されている点群データによって作られている。

歌舞伎美術と調和する表現による桜の点群映像

もちろん、リアルスティックな世界観を実現するならば、レイトレーシングを多用した高精度なCG技術が既に確立されているが、NTTと松竹はあえて日本画や、サクラの散る様を表現するために、舞台演出の中嶋正留氏の監修を受けて、あえて点群データから作成した3D千本桜を採用している。

イヤホンガイドに「耳スピ」体験

NTTは独自のプライベート音空間を実現する音響制御技術PSZ(Personalized Sound Zone)を持っていることを覚えているだろうか。オープンイヤー型なのに音漏れしない「nwm」(ヌーム)ブランドのイヤホンは商品化され、ロボスタでも紹介してきた。別名「耳スピ」(耳スピーカー)だ。

今回、歌舞伎座で貸し出しをしているイヤホンガイドにこの「耳スピ」を装着したものが報道関係者向けにレンタルされた。イヤホンガイドは歌舞伎を観ながら、副音声的に俳優や衣装を紹介したり、あらすじの捕捉、ストーリー展開の背景などを効果的に解説してくれる、つまり初心者でも歌舞伎をたっぷり楽しむことができ、「萬屋(よろずや)」や「播磨屋」「中村屋」など「大向う」(掛け声)のタイミングなども教えてくれる。

イヤホンガイドにオープンイヤー型の「耳スピ」を使うことで、歌舞伎の実際の音声や楽曲の音は直接、耳に届きつつ、解りやすい解説が「耳スピ」から副音声的に聞こえてきて、普段、馴染みのない歌舞伎が、解説付きでとても楽しく観劇できた。

「超歌舞伎 Powered by NTT 今昔饗宴千本桜」開催概要

公演日程	2023年12月3日～12月26日 12月11日、19日は休演
主演	中村獅童、初音ミク
脚本	松岡亮
演出・振付	藤間勘十郎
技術協力	NTT
製作	松竹株式会社

ABOUT THE AUTHOR /

神崎洋治

神崎洋治（こうざきようじ） TRISEC International,Inc.代表「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ～くわかる本」(秀和システム)の著者。デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。