株式会社KDDI総合研究所とTelexistence株式会社(TX)は、2020年7月9日、TXが開発する遠隔操作ロボットを対象に、ロボットと操縦者間の映像伝送において、ロボット側のカメラから操縦者側のディスプレイに表示されるまでのEnd-to-End遅延(映像がロボット側のカメラに入力されてから操縦者側のディスプレイに表示されるまでの、ネットワーク遅延を含む時間)として業界最高水準の50ミリ秒(「ミリ秒」は1000分の1秒)を実現したことを発表した。
これにより視覚と身体感覚との操作のずれをほぼ感じることがなくなり、動きの速い対象物に対して正確な操作や身体的直感に即した操作が可能になると共に、映像伝送遅延が原因の一つとされる操縦者のVR酔いが軽減され、長時間の遠隔操作が可能となる。(冒頭の写真は、Telexistenceの遠隔操作技術を用いたロボットMODEL H の量産型プロトタイプの例)
なお、この数値は、遠隔操作ロボット向けの映像伝送において、国際標準の映像符号化方式H.265/HEVCを用いたEnd-to-Endの遅延として業界最高水準(2020年7月9日時点)であり、伝送遅延は通信環境により変化する。
遠隔操作ロボットの実用化に向けた課題と解決策
遠隔操作ロボットの実用化に向けての課題にあったものが「低遅延化」だ。同ロボットは、VRグラスを装着した操縦者がロボットから伝送される映像を見ながら操作するのだが、映像伝送に伴うEnd-to-End遅延がおおよそ100ミリ秒を超えると視覚と操作のずれを大きく感じていた。映像伝送End-to-End遅延は大きく3つの要因があり、映像伝送システム開発においては、撮影から表示までのすべてのプロセスにおける徹底的な処理の最適化が重要となっている。
1、ロボット側におけるカメラからの映像取得と映像圧縮
2、映像データの伝送(ネットワーク遅延も含む)
3、操者側における映像伸長と表示
「低遅延化」の解決策
今回、TXの遠隔操作ロボット用映像伝送システムで、KDDI総合研究所の汎用ハードウェアコーデックを用いた映像パラメータや処理フローの最適化技術と、TXのロボット用映像機器の実装・最適化技術により、小型・安価な機器構成で、業界最高水準の50ミリ秒の超低遅延映像伝送を実現した。これにより、動きの速い対象物に対して俊敏に反応することができ、より正確な遠隔操作が可能になると共に、従来、映像伝送遅延が原因の一つとされる操縦者のVR酔いが軽減され、より快適に遠隔体験を楽しんだり長時間の遠隔作業を行ったりすることが可能となる。
今後の展開について
コロナ禍で加速するニューノーマルな時代を迎え、遠隔操作ロボットの活用への期待がますます高まる中、KDDI総合研究所とTXは、今回の超低遅延映像伝送技術に関する連携に加え、KDDI総合研究所の画像認識技術をTXのロボットへ応用したロボットビジョン技術においても連携を図り、ロボットや5Gを用いた日常生活やビジネスシーンにて、ユーザーの体験価値を向上する先進的な取り組みを進めていくと述べている。また、KDDI総合研究所は、これらの低遅延化技術を、同研究所で開発するMPEGライブラリMP-Factoryや遠隔作業支援システムVistaFinder Mxへ応用し幅広い利用シーンにおける低遅延映像伝送を実現していくとのことだ。TXは本夏開始される商用化ロボットへと本技術を実装し、人々の遠隔就労プラットフォーム「AWP」(Augmented Workforce Platform)の早期実現をし、遠隔化・自動化のソリューションを世の中に届けていくとも述べている。
VistaFinder Mx(公式サイト):https://www.kddi-research.jp/products/vistafinder.html