NTT東日本がN響コンサートで10km離れた会場の演奏を低遅延通信で合奏に！観客の手拍子と熱気も双方向配信に成功

東日本電信電話株式会社(NTT東日本)と株式会社NTT ArtTechnologyは、離れた会場で奏でる楽器や手拍子などを高速・低遅延で伝送して、違和感なく、一体感のある合奏として映像配信する技術を、N響コンサートの観客の前で披露した。

それは、2022年11月7日(月)に開催された「第179回 NTT東日本 N響コンサート」の最終アンコールで実施された。アンコール曲である「ラデツキー行進曲」を、「東京オペラシティにいる管弦楽奏者」と、約10km離れた「ドルトン東京学園にいるスネアドラム奏者」の演奏を伝送し、1つの音楽として成立させた。更に観客の手拍子も合奏に加わった。

熱気を伝える低遅延通信技術

今回、披露されたのは低遅延通信技術を活用し、新しい音楽共創・鑑賞を体感できる「リアルタイム・リモート演奏」。
「第179回 NTT東日本 N響コンサート」は、NTT東日本が1985年4月より37年にわたり「音楽はコミュニケーション」をコンセプトにNHK交響楽団の協力を得て開催してきた。37年のコンサートで初の試みとして、新宿区の東京オペラシティと、調布市のドルトン東京学園をNTTグループが開発している低遅延通信技術でつなぎ、奏者の演奏と観客の手拍子を低遅延かつ双方向で配信した。


会場では、MCが今回の最新技術は世界初の試みであること、この技術を導入する利点を簡単に説明した後、「東京オペラシティ」と「ドルトン東京学園」それぞれの会場にいるMC同士で、従来のリモート映像技術を使ってジャンケンを行った。これは従来の技術では遅延が大きく、「後出し」に見えてジャンケンが成立しづらいことを解りやすく表現したもの。

この後で低遅延通信技術を用いた映像に切り換えて行ったジャンケンでは遅延のない映像が送られ、その技術の違いが会場にもわかりやすく伝わった。

そして、両会場を繋いだ低遅延通信技術を用いてラデツキー行進曲の合奏「リアルタイム・リモート演奏」が行われ、さらにはラデツキー行進曲に合わせ、両会場合わせて約1,600名の観客による手拍子が合奏に合わせて低遅延かつ双方向で配信されることで、約10km離れた会場が一つになった一体感が生まれ、この技術が新しい音楽共創・鑑賞を実現できることが実証された。


この技術が確立すれば、演奏者やボーカル、コーラスなどが別の場所からオンラインで参加してひとつの音楽作品をライブで創りあげることが可能になる。オンラインでよりライブ感が溢れる演奏の試聴体験、視聴者参加型のエンタテインメントなど、新たな音楽体験が創出される可能性が広がった。
なお、この技術は有線による映像と音楽を高品質・低遅延で伝送する技術で、無線通信技術の実証ではない。

リアルタイム・リモート演奏と低遅延通信技術

NTTグループ両社は、事前に報道関係者向け説明会を開催し、この技術を開発した背景、コンサートで活用する技術的なしくみ、技術的な解説を行なった。

新型コロナウイルス拡大に伴う社会情勢の変化によって、音楽業界においても海外の演奏者を招聘しての音楽イベントや演奏指導を開催できないことが課題となってきた。一方で、遠隔コミュニケーションへの心理的ハードルが下がり、音楽コンサートのオンライン配信やリモートレッスンなど、通信を使った新たな市場が形成され始めている。
しかし、従来のリモートコンサートでは、通信や音声・映像の処理によって遅延が発生し、わずかな遅延でも発生すると、ひとつの音楽として成立しづらいという課題があった。

低遅延の「伝送」と「映像処理技術」の開発

これらの課題に対して、NTTグループはIOWN構想の柱である「オールフォトニクス・ネットワークの要素技術に関わる映像、音声等を高速・低遅延に伝送する技術」に、低遅延に映像処理する技術を組み込み、今回のお披露目によってその成果を実証することになった。

同時に、NTT東日本とNTT ArtTechnologyは、両社がめざす、文化芸術分野での新しい共創・鑑賞モデルの実現に向けて、複数地点間で演奏する音声・映像を低遅延で伝送することで同じ場所で演奏しているような音楽体験ができる多地点間協奏サービスの可能性を検討していくとしている。

NTTの低遅延伝送技術のしくみ

今回の技術的なポイントは、電気処理を主体とする通信装置（ルータ、レイヤ2スイッチなど）を使用せず、非IP方式のレイヤ1通信パスをエンド-エンドに設定することで、いわゆるハンドシェイク処理等が必要のないダイレクトに物理的極限に迫る低遅延化を実現している点。このような特徴を持つAPN端末装置をユーザ拠点に設置することで、ユーザの手元への100Gbps超の通信回線提供を可能にしている。


各拠点からの映像を縮小し、1つのモニタの画面を分割して表示させる処理について、伝送される映像を入力された順に画面配置を制御しながら表示することで、処理装置への映像入力から出力までの処理遅延を10ミリ秒程度以下で実現した。

今回の実証では、これら2つの技術を用いて演者の演奏および手拍子を低遅延かつ双方向で配信するとともに、低遅延で音を伝送することで、離れていても同じ場所にいるような双方向性を実現し、ハウリング対策も容易になったという。さらに事前検証等を通じて演奏者が感じるリアリティに大きく影響するスピーカの設置位置等を工夫することで、演奏者が自然に演奏できる音響環境の構築を実現した。今後の展開と一般実用化が楽しみだ。

この記事を読んだ人におすすめ

関連する記事はまだありません