【世界初】ソフトバンクが2拠点を「光無線通信」で繋ぎ、屋外で8Kリアルタイム映像を伝送　真鍋大度氏の個展「EXPERIMENT」で

2023年6月16日 By ロボスタ編集部

ソフトバンク株式会社は、山梨県の清春芸術村と共同で、アーティストの真鍋大度(まなべ・だいと)氏の個展「EXPERIMENT」を開催した(2023年4月1日～5月10日)。ソフトバンクは、今回の個展に最先端の光無線通信技術と、作品の演算・描画処理に必要な高性能計算機基盤を提供した。また、2拠点を超低遅延かつ大容量通信である「光無線通信技術」を使って結び、双方向で8Kの高精細映像と音をリアルタイムに伝送する、屋外では世界初となる試みもおこなわれた。

山梨県北杜市の清春芸術村の「安藤忠雄光の美術館」(写真、画像、情報提供:ソフトバンク)

山梨県北杜市の清春芸術村の「安藤忠雄光の美術館」にて開催された真鍋大度氏の個展「EXPERIMENT」では、超高速通信技術と生命知能の概念を探求する実験、実装を行い、一連の過程がリアルタイムで公開された。ソフトバンクの先端技術研究所は、2つの作品に低遅延通信技術等の先端技術を提供した(作品「EXPERIMENT1：Telephysarumence」と「EXPERIMENT2：Teleffectence」)。

粘菌のシミュレーションとカメラ映像の観客の動きからリアルタイムで映像と音をネット環境で生成

「Telephysarumence」は、粘菌のシミュレーションとリアルタイムにカメラで捉えた観客の動きをもとに映像と音を生成する作品。光の美術館とソフトバンクのデータセンターの間をネットワークで接続し、データセンターのサーバーで生成した4K映像(30fps)を会場のモニターにリアルタイムで配信した。

■真鍋大度個展 EXPERIMENT 作品紹介：Telephysarumence｜SoftBank R&D

光の美術館のモニター下にあるセンサーで、来場者の動きをリアルタイムにキャプチャーし、データセンターのサーバーに送信。サーバー上では、粘菌の振る舞いを模倣するシミュレーターが動作しており、送信された観客の動きのデータと合わせて映像と音を生成。そして、生成された映像と音を、会場のモニターとスピーカーに配信した。高精細な映像やインタラクティブな表現を実現するためには、描画処理や解析処理をリアルタイムで行うための潤沢なコンピューティングリソースが必要。従来は、会場に高性能なコンピューターを設置する必要があったが、今回は、ネットワークを使用して低遅延で遠隔地の高性能コンピュータと接続することで、会場はセンサーやモニターなどのシンプルな簡易な設備だけでの展示が可能となった。なお、会場とデータセンターの間は、ソフトバンクのモバイルネットワークを使って閉域網を構築した。

設備構成図

また、この技術でのポイントとなる「ローカル構成とリモート構成の遅延比較」も公開した。会場に重厚な計算機を設置する従来の構成（ローカル構成）と、今回の構成（リモート構成）の鑑賞体験の比較を行なった。リモート構成におけるネットワーク接続の影響を検証するため、データセンターのサーバーと会場のPC間で遅延を測定。結果は動画の通り、ローカル構成とほぼ変わらない値を実現した。

重厚な設備が必要な「ローカル構成」と、今回実現した低遅延大容量の「リモート構成」の概要

ローカル構成とリモート構成の遅延比較

ローカル構成とリモート構成の遅延を視覚的に比較するため、モニター下のセンサー情報を双方の構成で処理した際の動画。モニターに表示される映像にはほとんど差がないことが確認できる。

■真鍋大度個展 EXPERIMENT 検証：ローカル構成とリモート構成の遅延比較

世界初、屋外での光無線通信で8Kリアルタイム映像伝送

「Teleffectence」は離れた場所同士を超低遅延の通信技術でつなぎ、そこに音と映像のフィードバックを生成することで、従来は不可能だった時間と空間の表現を生み出す実験。電波よりも高い周波数帯を使う「光無線通信」を屋外の通信で活用した。
常に光環境が大きく変化する光の美術館と、光環境の変化が少ない長坂コミュニティ・ステーションの二拠点で、それぞれ、カメラとディスプレイ、マイクとスピーカーを二組用いた音と映像のフィードバックを作り出した。

■真鍋大度個展 EXPERIMENT 作品紹介：Teleffectence｜SoftBank R&D

通常、実空間では、音源から発した音は、その空間の空間特性に応じた反響（エコー）を伴う。それをコンピュータなどでシミュレーションするのがエフェクターだ。エフェクターはあらかじめ想定された空間の響き（周波数特性の変化）を計算しておくことで、音源に任意の空間の響きを付け加えることができる。今回の実証では、そのようなエフェクターを用いるのではなく、音源から発した音を、実際に遠隔地に飛ばし、その遠隔地の空間で響いた音を、再び元の場所に戻すことをおこなった。同社は、これは超低遅延の通信技術がなければ不可能な表現、としている。

同様に、映像においても、ある空間の光の反射や影、質感などを加えるには、特殊な装置を用いて事前に空間の特性を取得しておくか、シミュレーションしておく必要があった。しかし、今回は、映像を遠隔地に中継し、その遠隔地の空間特性を加え、再び元に戻すということを実現した。超低遅延かつ大容量通信である「光無線通信技術」を用いて、光の美術館と長坂コミュニティ・ステーションの2拠点間を繋ぎ、双方向で8Kの高精細映像と音をリアルタイムに伝送した。

設備構成図、2拠点間の通信には「光無線通信」を使った

光無線通信とは

光無線通信とは、光を利用した無線通信技術。電波よりも高い周波数帯を活用し、超低遅延かつ大容量通信の実現が可能。屋外で光無線通信を用いて8Kリアルタイム映像伝送を行った事例は、世界初となる。

光は大気中の水分によって散乱・吸収されると、ビームが弱くなるため、雨天時などの高湿度な場合、通信が不安定になり運用面で大きな課題になる。そこで、ソフトバンクは独自開発したシミュレーターを用い、大気中の水分量により減衰する回線稼働率を予測し、まずは事前に回避策を講じた。会期前の1か月間で検証したところ、誤差0.3%で稼働率の予測を行うことに成功した。