ニュース NTT R&Dフォーラム XR xRスポーツデジタルツインメタバース VR/AR/MR NTTグループ

NTT、リアル世界のスポーツの映像･音響･振動･体感をメタバース空間で再現する「xRスポーツ」技術を発表　自転車競技で選手と共走体験

2023年10月12日 By 神崎洋治

日本電信電話株式会社(NTT)は、実際のサイクルロードレースのデータや映像・音響を元に、メタバースのバーチャル空間でリアルに再現し、実際にロードレースに参加しているかのような体験を生成する技術を開発した。
その発表を10月12日に行ない、発表に伴って報道関係者向けの説明会をオンラインで開催した。10月13日から宇都宮で開催される、実際のジャパンカップサイクルロードレースで映像や音、データを収集し、振動データ等を生成してリアルなメタバース空間を生成し、11月14日から開催されるイベント「NTT R&Dフォーラム」で技術を公開、デモ展示する。

メタバースでxRスポーツ体験

会議室や街中で会話することが目的のメタバース空間ではなく、NTTはスポーツする環境や臨場感をメタバース空間に生成し、実際にそのスポーツに参加しているかのようなxRスポーツ体験を実現しようとしている。
これが実現すれば、時間・空間を超えて、あたかもその場で競技しているような体感を再現し、遠隔地から超高臨場メタバース空間を通じて実スポーツを新たにリモート体験できる世界が拓かれる可能性がある。

実際のロードレース(自転車レース)をメタバース空間に再現する試み　www.japancup.gr.jp

そのレースに実際に参加しているかのような超高臨場感でxRスポーツを実現する(イメージ)

実際のジャパンカップサイクルロードレースでデータ収集

NTTは、広域な屋外環境の空間と時間変化、振動をバーチャル世界に再現し、リアル世界の体験を再現する技術の研究開発を推進している。その最新の成果をもとに、宇都宮市、特定非営利活動法人ジャパンカップサイクルロードレース協会と、2023年10月13日から2023年10月15日にかけて開催予定の「SUBARU LEVORG presents 2023 ジャパンカップサイクルロードレース」でデータを収集し、後日、それを再現した超高臨場メタバース空間「XRスポーツ空間」を公開する。そのメタバース空間の中を特殊なロードバイク(自転車)で走ることで、選手達と一緒に走っているような「共走」体験を実現する実験を行う。

まずは実際に出場した選手がメタバース空間を体験し、実際の環境や臨場感を体験し、完成した成果は、2023年11月14日～17日に開催されるイベント「NTT R&Dフォーラム IOWN ACCELERATION」で展示公開する予定となっている。

遠隔地にいても、実際のレースに参戦しているかのような「共走」体験できるメタバース空間の実現を目指す(画像はイメージ)

1.背景・概要

NTTは、「低遅延」「低消費電力」「大容量・高品質」のネットワーク・情報処理基盤を活用し、リアルな映像、音響、触覚などの新たな体験を提供する超高臨場メタバース空間の実現に向けた研究開発を行い、IOWN 構想を通じて実現をめざしている。
今回、宇都宮市、特定非営利活動法人ジャパンカップサイクルロードレース協会と共同で、「SUBARU LEVORG presents 2023 ジャパンカップサイクルロードレース」にて超高臨場メタバース空間を活用した「共走」体験を実現する実証を行うことになった。この実証では、ホープフルクリテリウム(「ジャパンカップサイクルロードレース」前日に宇都宮市大通りにて行われる次世代を担う高校生たちによるレース)において、競技レースの映像・音響・路面情報等のデータを収録する。

収集したデータは、予め撮影しておいたレース前のコース映像とGPSデータでシンクロし、ロードレース開催時のメタバース空間を後日生成する。これは競技レースの時間・空間を再現したバーチャル世界「XR スポーツ空間」としてレース参加者に体験してもらい、技術の効果効用を評価する技術検証を実施する。

2.技術のポイント

広域 3D 映像空間の推定・再現

移動する複数のカメラ映像から3次元の映像空間を生成し、任意視点からの映像を生成可能とする技術。リアル世界内の動物体により生じる遮蔽領域を、別撮り映像に基づいた画像選択と画像復元により補間することで、広域な映像空間を再現する。

図1．広域3D 映像空間の推定・再現のイメージ

広域3D 音響空間の推定・再現

レース中のロードバイクにカメラやマイクを設置してデータを収集する。移動するカメラ・マイクで撮影・収音された映像・音響データから、リアル世界内の選手や観客などの個々の音源を分離し、個々の音の位置を含む音の空間的な広がりまでを含めた音響空間を生成する技術。オブジェクト識別をベースとした音源分離と奥行推定を組み合わせた個別音源定位、カメラ・マイクの位置情報を活用した音場再構成により、自然な音響空間を再現する。

図2．広域3D 音響空間の推定・再現のイメージ

広域振動空間の推定・再現

振動音や映像から振動の質感や大きさを推定して生成する。リアル世界を自転車で走行した際の振動音・路面映像を収録し、メタバース空間で走行する際の路面や速度に応じて変化する振動感覚を再現する技術。カメラで収録した路面を区分けし、一部の場所で収録した振動音を区分けに基づいて空間全体に適用することで、広域な振動空間を再現する。

図３．広域振動空間の推定・再現のイメージ

メタバース空間で実際のロードレースを体感　R&Dフォーラムで公開

「SUBARU LEVORG presents 2023 ジャパンカップサイクルロードレース」で収集したデータを活用して生成したメタバース空間とロードレースのxR体感システムを、2023年11月14日から17日に開催される「NTT R&D FORUM 2023 -IOWN ACCELERATION」において公開する。この技術の詳しい紹介、共走体験のデモ展示を実施する予定だ。

(再掲)

そこでは、「ジャパンカップサイクルロードレース」（2023/10/14に宇都宮市で開催）で収録した映像・音響・路面データをもとに、この技術により、自転車競技レースの時間・空間を再現したバーチャル世界（xR
スポーツ空間）を生成。来場者には展示ブースに設置した自転車に乗り、自由にその空間内を走行することで、選手たちと一緒に走っているような「共走」体験が体感できる。

また、選手を含む有識者へのヒアリングを通じて、ユーザビリティや体験価値の評価を行い競技者、観戦者のすそ野を広げる活動にも寄与していく考えだ。

同社は、自転車競技のシミュレータと比較した場合のNTTの技術の優位点として「実写撮影された映像空間内をユーザが自由に移動可能であること」と「3次元的な音響空間、路面・走行速度にもとづく振動感覚の提示」をあげている。
同社は、この研究を通じ、距離・時間・価値観の違いを超えたリモート交流・リモート競技による、新たなWell-being体験の実現をめざす、としている。

ABOUT THE AUTHOR /

神崎洋治

神崎洋治（こうざきようじ） TRISEC International,Inc.代表「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ～くわかる本」(秀和システム)の著者。デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。