NTT東日本がN響コンサートで10km離れた会場の演奏を低遅延通信で合奏に!観客の手拍子と熱気も双方向配信に成功

東日本電信電話株式会社(NTT東日本)と株式会社NTT ArtTechnologyは、離れた会場で奏でる楽器や手拍子などを高速・低遅延で伝送して、違和感なく、一体感のある合奏として映像配信する技術を、N響コンサートの観客の前で披露した。


両会場の観客も演奏に手拍子で参加し、手拍子も低遅延で伝送され、違和感なく演奏に溶け込んだ

それは、2022年11月7日(月)に開催された「第179回 NTT東日本 N響コンサート」の最終アンコールで実施された。アンコール曲である「ラデツキー行進曲」を、「東京オペラシティにいる管弦楽奏者」と、約10km離れた「ドルトン東京学園にいるスネアドラム奏者」の演奏を伝送し、1つの音楽として成立させた。更に観客の手拍子も合奏に加わった。

「東京オペラシティにいる管弦楽奏者」と、約10km離れた「ドルトン東京学園にいるスネアドラム奏者」の演奏を低遅延伝送技術で合奏。観客の手拍子も合わせた




熱気を伝える低遅延通信技術

今回、披露されたのは低遅延通信技術を活用し、新しい音楽共創・鑑賞を体感できる「リアルタイム・リモート演奏」。
「第179回 NTT東日本 N響コンサート」は、NTT東日本が1985年4月より37年にわたり「音楽はコミュニケーション」をコンセプトにNHK交響楽団の協力を得て開催してきた。37年のコンサートで初の試みとして、新宿区の東京オペラシティと、調布市のドルトン東京学園をNTTグループが開発している低遅延通信技術でつなぎ、奏者の演奏と観客の手拍子を低遅延かつ双方向で配信した。


会場では、MCが今回の最新技術は世界初の試みであること、この技術を導入する利点を簡単に説明した後、「東京オペラシティ」と「ドルトン東京学園」それぞれの会場にいるMC同士で、従来のリモート映像技術を使ってジャンケンを行った。これは従来の技術では遅延が大きく、「後出し」に見えてジャンケンが成立しづらいことを解りやすく表現したもの。

スクリーン上の会場と、こちらの会場のMCとでジャンケンをする様子。従来のリモート会議のシステムでは遅延が大きく、お互いに後出ししたと主張する結果に

この後で低遅延通信技術を用いた映像に切り換えて行ったジャンケンでは遅延のない映像が送られ、その技術の違いが会場にもわかりやすく伝わった。

そして、両会場を繋いだ低遅延通信技術を用いてラデツキー行進曲の合奏「リアルタイム・リモート演奏」が行われ、さらにはラデツキー行進曲に合わせ、両会場合わせて約1,600名の観客による手拍子が合奏に合わせて低遅延かつ双方向で配信されることで、約10km離れた会場が一つになった一体感が生まれ、この技術が新しい音楽共創・鑑賞を実現できることが実証された。


この技術が確立すれば、演奏者やボーカル、コーラスなどが別の場所からオンラインで参加してひとつの音楽作品をライブで創りあげることが可能になる。オンラインでよりライブ感が溢れる演奏の試聴体験、視聴者参加型のエンタテインメントなど、新たな音楽体験が創出される可能性が広がった。
なお、この技術は有線による映像と音楽を高品質・低遅延で伝送する技術で、無線通信技術の実証ではない。




リアルタイム・リモート演奏と低遅延通信技術

NTTグループ両社は、事前に報道関係者向け説明会を開催し、この技術を開発した背景、コンサートで活用する技術的なしくみ、技術的な解説を行なった。

説明会に登壇した(左) NTT ArtTechnology 代表取締役社長 国枝学氏、(右) NTT東日本 経営企画部 IOWN推進室 担当部長 薄井宗一郎氏

新型コロナウイルス拡大に伴う社会情勢の変化によって、音楽業界においても海外の演奏者を招聘しての音楽イベントや演奏指導を開催できないことが課題となってきた。一方で、遠隔コミュニケーションへの心理的ハードルが下がり、音楽コンサートのオンライン配信やリモートレッスンなど、通信を使った新たな市場が形成され始めている。
しかし、従来のリモートコンサートでは、通信や音声・映像の処理によって遅延が発生し、わずかな遅延でも発生すると、ひとつの音楽として成立しづらいという課題があった。


低遅延の「伝送」と「映像処理技術」の開発

これらの課題に対して、NTTグループはIOWN構想の柱である「オールフォトニクス・ネットワークの要素技術に関わる映像、音声等を高速・低遅延に伝送する技術」に、低遅延に映像処理する技術を組み込み、今回のお披露目によってその成果を実証することになった。

「伝送」と「映像処理」の工程に着目して、低遅延性を研究・開発した

従来比で、伝送容量125倍、エンドエンド遅延1/200に加え、電力効率も100倍に向上させた

同時に、NTT東日本とNTT ArtTechnologyは、両社がめざす、文化芸術分野での新しい共創・鑑賞モデルの実現に向けて、複数地点間で演奏する音声・映像を低遅延で伝送することで同じ場所で演奏しているような音楽体験ができる多地点間協奏サービスの可能性を検討していくとしている。


NTTの低遅延伝送技術のしくみ

今回の技術的なポイントは、電気処理を主体とする通信装置(ルータ、レイヤ2スイッチなど)を使用せず、非IP方式のレイヤ1通信パスをエンド-エンドに設定することで、いわゆるハンドシェイク処理等が必要のないダイレクトに物理的極限に迫る低遅延化を実現している点。このような特徴を持つAPN端末装置をユーザ拠点に設置することで、ユーザの手元への100Gbps超の通信回線提供を可能にしている。


各拠点からの映像を縮小し、1つのモニタの画面を分割して表示させる処理について、伝送される映像を入力された順に画面配置を制御しながら表示することで、処理装置への映像入力から出力までの処理遅延を10ミリ秒程度以下で実現した。

極限までリアルタイムに反応する低遅延伝送の新開発

高速に映像処理することでタイムラグをなくし、別の場所で演奏している音と映像を合奏として融合

今回の実証では、これら2つの技術を用いて演者の演奏および手拍子を低遅延かつ双方向で配信するとともに、低遅延で音を伝送することで、離れていても同じ場所にいるような双方向性を実現し、ハウリング対策も容易になったという。さらに事前検証等を通じて演奏者が感じるリアリティに大きく影響するスピーカの設置位置等を工夫することで、演奏者が自然に演奏できる音響環境の構築を実現した。今後の展開と一般実用化が楽しみだ。

ABOUT THE AUTHOR / 

神崎 洋治

神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。

PR

連載・コラム