NVIDIAのAIツールでエドガーアランポーの肖像画が喋り出す　映像から簡単にアニメーション化できる「Vid2Vid Cameo」と「3D姿勢推定ツール」

NVIDIAのAIツールが視覚効果やアニメーションを手掛けるスタジオ、プロのクリエイター、さらにはカメラを使うすべての愛好家まで、あらゆるレベルのクリエイターのためにディープラーニングを活用したパフォーマンスキャプチャを可能にしている。

NVIDIA Vid2Vid Cameoを使用するとクリエイターはAIを活用してプロ用のカメラやスマートフォンで撮影したあらゆる標準的な2Dビデオから顔の動きや表情をキャプチャできる。そのパフォーマンスをリアルタイムで適用することで、アバターやキャラクター、あるいは絵画のアニメーションを作成することも可能。

一方、3D姿勢推定ソフトウェアを使用すると歩行、ダンス、武術の動きといった全身の動作をキャプチャして、AIで仮想キャラクターに命を吹き込むことができる。3D未経験者でさえ、これらのツールを使えばスマートフォンの映像からでも制作プロジェクトを容易にアニメーション化できる。プロならさらに一歩前進して、姿勢推定ソフトウェアとVid2Vid Cameo ソフトウェアを組み合わせて使用し、ライブストリームやアニメーションプロジェクト用のバーチャルキャラクターに自分自身の動きを転送することもできる。

以下のデモ動画ではエドガーアランポーの詩「Sonnet — to Science」の朗読パフォーマンスをアーティストのゲイリー ケリー(Gary Kelley)氏によるポーの肖像画に投影している。

【動画】Performance Capture Possible With Any Camera with NVIDIA AI

NVIDIAがVid2Vid Cameoを使ったパフォーマンスキャプチャのデモを提供

NVIDIA AI Playgroundのデモを通じて利用可能なNVIDIA Vid2Vid Cameoでは、話している人の顔を生成するのに必要な要素は2つだけ。アニメーション化するアバターか、絵画の静止画像とパフォーマンスする本人が話している映像、歌っている映像、または頭を動かしている映像。

GAN(敵対的生成ネットワーク)に基づくこのモデルは、顔の動きをマッピングしてリアルタイムの動作をキャプチャし、その動作をバーチャルキャラクターに転送する。18万本のビデオを使ってトレーニングされたネットワークは、顔の動きをモデル化するために主要ポイントを20か所特定することを学習済みであり、目、口、鼻、眉毛などの位置をエンコードする。これらのポイントはパフォーマンスする本人のビデオストリームから抽出され、アバターやデジタルキャラクターに適用される。

Vid2Vid Cameo、姿勢推定と各社ビジュアルプラットフォームの統合

Vid2Vid Cameoが詳細な表情をキャプチャするのに対し、姿勢推定AIは全身の動きを追跡する。これは複雑な動作をしたりデジタルシーンを動き回ったりするバーチャルキャラクターを手掛けるクリエイターにとって重要な機能。

Pose Trackerは3Dデザインコラボレーションおよび世界シミュレーションプラットフォームである「NVIDIA Omniverse」の拡張機能として提供されている畳み込みニューラルネットワークモデル。ユーザーはリアルタイムでキャラクターをアニメーション化するための動作のソースとして、映像をアップロードすることもライブビデオを配信することもできる。クリエイターは無料でNVIDIA Omniverseをダウンロードして、ステップ バイ ステップのチュートリアルから開始できる。

NVIDIAのパフォーマンスキャプチャ用AIを自社製品に統合した企業は以下の通り。

この記事を読んだ人におすすめ

関連する記事はまだありません