ソニーの最新映像処理テクノロジーにNVIDIA「Jetson」を採用！AI時代の新しい映像コンテンツ制作とは? GPUとの関係

従来、映像コンテンツは高額な制作機材を使って、専門知識・技術を持つ多くの制作スタッフが長時間かけて制作していた。しかし、ソニー独自のAIアルゴリズムを実装して開発されたEdge Analytics Applianceを用いることで、多くの人々が簡単にインパクトのある映像コンテンツをリアルタイムで制作することが可能になった。

そのEdge Analytics Appliance「REA-C1000」がもつ様々なアプリケーションの実装を可能にしたのが、豊富なAIツールとワークフローのセットが活用でき、開発者が短期間でAIアプリケーションの開発を行うことができるNVIDIAの「Jetson TX2」だ。

「Jetson TX2」は、50mm x 87mmのクレジットカードサイズのモジュールで、高い計算処理能力、精度、電力効率を提供し、ドローンやロボット、スマート カメラなどに組み込むことでディープラーニングを可能する。

様々なアプリケーションで、作業・スタッフの省略化

ソニーが今年の5月15日に発表したEdge Analytics Appliance「REA-C1000」は、接続したカメラの映像を自動的に解析しGPU上で処理を行うことで、映像内の特定の被写体の抜き出しや、それを他の映像と組み合わせてリアルタイムに表示することが可能な映像制作支援ユニット。本体は各種アプリケーションのライセンスをインストールすることで、利用環境に応じた各機能を使用することができる。


デバイスのアプリケーションには、リモートカメラが登壇者を追尾して自動的に撮影する「リモートカメラ自動追尾」、グリーンバックを用意せずに合成映像コンテンツの撮影が可能な「クロマキーレスCGオーバーレイ」、ホワイトボードの文字を手前に描写する「板書抽出オーバーレイ」などが用意されている。これらを活用することで、グリーンバックや専用のスタジオで撮影をしたり、動く被写体を捉える撮影スタッフを用意したりといった手間を省き、インパクトのある映像コンテンツをリアルタイムで制作することが可能になる。

Jetson TX2の演算処理能力とソニーの技術で文字を手前に描写

そんなEdge Analytics Applianceのアプリケーションの1つである板書抽出オーバーレイは、ホワイトボードなどに講師が手書きで記載する文章や図式などをカメラで撮影しながら、リアルタイムで講師よりも手前に浮かび上がるように描画を行う。これによってリモートでビデオ映像を見ながら参加している人たちや、アーカイブで講義を再聴講する人は、本来であれば講師の体で隠れて見えない、ホワイトボードに記載された文字や図形をはっきりと認識することができる。



このアプリケーションは、Jetson TX2の演算処理能力とソニーの動体・非動体検知技術で、講師の背後にある文字や図式の特徴量を抽出して講師の手前に描画。さらに描画の際には透過具合を調整できると共に、うすくて見え難い文字などは、色味を強調することでホワイトボードに書かれた実際の文字よりも見えやすく表示している。

設備がなくても合成映像が作れる

もう一つのアプリケーション例であるクロマキーレスCGオーバーレイは、ソニー独自の動体検出アルゴリズムにより、従来のように大掛かりなクロマキー合成に必要な設備がなくても適切なクオリティーの合成映像をつくり出すことができる。



ここで必要とされているディープラーニングをベースとした動体検出のアルゴリズムは、これまでワークステーションなどでしか実行できなかったが、Jetson TX2をデプロイしたことにより、最終的にとてもコンパクトでシンプルなデザインの製品に仕上げることができたという。

また、上記で紹介した板書抽出オーバーレイとクロマキーレスCGオーバーレイ以外にもEdge Analytics Applianceでは動体検知、顔認証、カラーパターンマッチングや形状認証、さらにポーズ認識といったアルゴリズムにより、様々なアプリケーションが用意されており、どのアプリケーションにもJetson TX2がデプロイされている。

また、今後も、GPUがもつフレキシブルなアプリケーション開発環境を活用してEdge Analytics Applianceで提供可能な、アプリケーションが追加されていく。

開発段階ではNVIDIAのGPUプラットフォームがもつアドバンテージを活用

同商品の開発段階では、上述したようなJetson TX2そのもののパフォーマンスの高さに加え、Jetsonプラットフォーム、さらにはNVIDIAのGPUプラットフォームがもつ様々なアドバンテージが効率的に活用された。その1つはJetsonのDeveloper Forumやインターネット上でディスカッションされている、世界中のJetsonユーザーがシェアする情報だ。NVIDIAや販売代理店からの技術サポートに加え、Forumやインターネットで得られる世界中のJetsonユーザーの知見を活用することによって同製品が迅速に開発された。

これは、世界中に多くのユーザーコミュニティーをもつJetsonプラットフォームならではの利点だとNVIDIAは言う。利点はもう一つある。それが、CUDAをベースとしたNVIDIAの統一されたGPUアーキテクチャだ。Edge Analytics Applianceの開発でも、実装する各種のアルゴリズムを、量産品で使用するJetson TX2に実装する前に、ワークステーションに実装されたNVIDIAのGPUをベースに開発が進められた。

ワークステーションの豊富な演算能力を用いてストレスなく開発・検証されたアルゴリズムは、統一されたアーキテクチャをもつJetson TX2にスムーズにデプロイされ、実際の量産向け製品として仕上がったという。(NVIDIA公式ブログより)

この記事を読んだ人におすすめ

関連する記事はまだありません