エンタメニュース IOWN ディープラーニングデジタルツインニコニコ超会議初音ミク超歌舞伎ロボット

「超歌舞伎2022 Powered by NTT」の舞台に中村獅童の「獅童ツイン」が初登場！NTTのAnother Me デジタルツイン技術で生成

2022年8月7日 By ロボスタ編集部

2016年より松竹と株式会社ドワンゴが共同製作し、ニコニコ超会議内で公演を重ねてきた「超歌舞伎」は、日本の伝統文化を代表する歌舞伎と、NTTの最新テクノロジーが融合した全く新しい歌舞伎だ。

NTTの「Kirari!」をはじめとする最新ICT技術の導入により、未来へ向けて、演劇の舞台演出の可能性を広げる試みが、高い評価を得ており、初演から7年目となる今夏の「超歌舞伎2022 Powered by NTT」は、2022年8月4日から9月25日まで、全国の4劇場にて上演される。

4月29日・30日にはますます進化する「超歌舞伎 Supported by NTT」が幕張メッセイベントホールで行われた。2016年にスタートしてから今年で7年目となる。関連記事「ニコニコ超会議2022のネット総来場数100万人越え　中村獅童×初音ミクが超歌舞伎を披露」 ©超歌舞伎 Supported by NTT

日本電信電話株式会社(NTT)と松竹株式会社は、同公演プログラムの一つである「超歌舞伎のみかた」の一幕において、NTTが研究開発を進めるコンピュータによってまるで双子の様に人を再現するデジタルツイン「Another Me」の社会実装の第一弾として、同公演に主演する中村獅童さんのデジタルツインである「獅童ツイン」を実演する実証実験を実施。

これにより、中村獅童さんであって中村獅童さんではない、本人があたかもそこにいるかのように、デジタル空間上に再現され、生み出された獅童ツインが誕生する。
(※冒頭の画像：左より澤村國矢さん、獅童ツイン、中村蝶紫さん)

【中村獅童ツイン】 ©超歌舞伎 2022 Powered by NTT

中村獅童さん

この度NTTさんが、私の台詞まわしや身振り手振りを「学習」してまるで私のように振る舞い、身振り手振りをするという「獅童ツイン」を開発し、明日から開幕する超歌舞伎公演の一幕にて紹介する運びとなりました。超歌舞伎にこのような最先端技術が導入されることで、超歌舞伎の演出の可能性が益々広がるものと思っております。この度もお客様に超歌舞伎をお楽しみいただけるよう精一杯勤めます。

関連記事
「超歌舞伎」関連記事 (ロボスタ)

「Another Me」の要素技術「身体モーション生成技術」

NTTは、IOWN(アイオン：Innovative Optical & Wireless Network)構想の柱の一つとして、現実世界(リアル)のツイン(双子)をデジタル上に構築するデジタルツインコンピューティング(DTC)構想を提唱し、その実現に向けた研究開発を推進している。DTC構想は、現実世界における人や物、都市、環境などさまざまな物理的対象に関して収集したデータから高精度なデジタル表現(デジタルツイン)を作成し、その掛け合わせにより従来のICTの限界を超えた大規模・高精度な未来予測や高度なコミュニケーションの実現をめざすものだ。同構想においてNTTがめざす方向性の一つが「Another Me」であり、同方向性で掲げるビジョンでは、デジタルツイン技術でつくられる‟もう一人の自分”が、現実世界の制約を超えて本人として社会の中で自律的に活動し、その結果を本人自身の経験として共有することにより、人が活躍し成長する機会を飛躍的に増やすことをめざしている。

Another Meのコンセプト

今回、Another Meの要素技術である、「身体モーション生成技術」により、超歌舞伎に主演する中村獅童さんの身振り・手振りを自律的に再現する「獅童ツイン」を松竹株式会社と共同で実現し、「超歌舞伎2022 Powered by NTT」の公演においてお披露目することとなった。

技術のポイント

デジタル的なもう一人の自分であるAnother Meには、コミュニケーションにおいて本人らしい印象を与える外見や言動が求められる。身体モーション生成技術は、特定の人物の音声・映像データから、その人らしさを学習することで、その人の発話音声のみから‟その発話をしている時のその人らしい動作”を自動で生成可能にするもので、技術的には、GAN(Generative Adversarial Networks)と呼ばれる深層学習技術により、音声から動作を生成するモデルを構築する。

身体モーション生成技術の概要

人物の細かな癖までもとらえた幅広い動作の生成を実現するために、学習時にデータを処理する機構に工夫があり、その人らしさや自然さといった評価で世界最高性能を実現している。また、NTTが開発した最先端の音声合成技術により、少量の音声から、”その人らしい声色”に加えて、”その人らしい抑揚のつけ方”といった音声ならではの表現力を学習可能。これまでの音声合成技術では、淡々とした表現の話し方になっていたが、表現力豊かな音声の生成を実現した。同実証実験では、中村獅童さんの数分程度の音声から、特徴である抑揚ある感情豊かな話し方を再現しており、超歌舞伎の舞台でのダイナミックな中村獅童の身振り・手振りや、表情豊かな声色・話し方の再現に挑戦し、ファンに「獅童ツイン」として観てもらうことで、同技術が公演に適用可能なレベルの実用性を有することを検証する。

今後の研究開発

NTTでは、人の見かけや身振りなどの外面だけではなく、深い内面の‟個性”をも再現するAnother Me技術の実現に挑戦している。今後は、人の持つ様々な言語や身体的な表現手段にあらわれるその人らしさを様々なシーンで学習することで、その人の内面のモデル化にまで挑戦することで、自分らしい仕事や生活のスタイル、人との接し方などのパーソナリティ、さらには物ごとを判断する際の信念や表現・創作における独自性をも再現できるAnother Meを実現させると述べている。また、もう一人の「私」が物理的な制約を超えて「私」としての活躍・成長の機会を広げることで、一人一人が輝き充実できる社会の実現をめざすとのことだ。

関連記事
IOWN構想の関連記事(ロボスタ)

「IOWN構想とは？」(NTT R&D Website内)：https://www.rd.ntt/iown/0001.html
「デジタルツインコンピューティングとはなにか」(NTT R&D Website内)：https://www.rd.ntt/iown/0003.html

▼「超歌舞伎2022 Powered by NTT」

製作	松竹・NTT・ドワンゴ
上演予定	8月4日(木)～8月7日(日)福岡・博多座、8月13日(土)～8月16日(火)名古屋・御園座、8月21日(日)～9月3日(土)東京・新橋演舞場、9月8日(木)～9月25日(日)京都・南座
公式サイト	https://chokabuki.jp/2022theatre/