NVIDIAのデジタルヒューマン・テクノロジーを解説　リアルなアバターやダイナミックなゲームキャラクターを作成する3つの技術

2024年4月1日 By ロボスタ編集部

NVIDIAは、幅広い業界の主要なAIアプリケーション開発者がNVIDIAデジタルヒューマンテクノロジーを使用して、本物のようなアバターやダイナミックなゲームキャラクターを商用アプリケーションのために作成していることを発表した。その成果は、カリフォルニア州サンノゼで開催された世界的なAIカンファレンスであるGTCでも展示され、HippocraticAI、Inworld AI、UneeQ などがテクノロジーのデモンストレーションを公開した。

自然言語対話が可能なデジタルヒューマンを作成

キーとなるNVIDIAの技術は、音声とアニメーション用のNVIDIA Avatar Cloud Engine「ACE」、言語用のNVIDIA「NeMo」、レイトレースレンダリング用の「NVIDIA RTX」。開発者がAIを活用した自然言語対話が可能なデジタルヒューマンを作成できるようにする構成要素で、会話をより現実的で豊かなものにする。

NVIDIAの開発者およびパフォーマンス・テクノロジ担当バイス・プレジデントのジョン・スピッツァー（John Spitzer）氏は次のようにコメントしている。

NVIDIAジョンスピッツァー氏

NVIDIA は、デジタルヒューマンの創造のため、AIを活用した世界クラスのテクノロジーを開発者に提供します。これらのテクノロジーにより、デジタルインタラクションをリアルに感じるために必要な複雑なアニメーションや会話音声が強化されるでしょう。

ワールドクラスのデジタルヒューマンテクノロジー

デジタルヒューマン・テクノロジー・スイートには、AIを活用した以下の言語、音声、アニメーション、グラフィックスが含まれている。

NVIDIA ACE

NVIDIA Audio2Faceによるフェイシャルアニメーションと、NVIDIA Riva自動音声認識（ASR）およびテキスト読み上げ（TTS）による音声で、開発者がデジタルヒューマンに命を吹き込むのを支援するテクノロジー。ACEマイクロサービスは、ローカルGPUの機能に応じてクラウドとPC全体でモデルを実行できる柔軟性を備えており、ユーザーが最高の体験を確実に受けられるようにする。

NVIDIA NeMo

開発者が正確なデータキュレーション、最先端のカスタマイズ、Retrieval-Augmented Generation、アクセラレーテッドパフォーマンスを備えたエンタープライズ対応の生成AIモデルを提供できるエンドツーエンドのプラットフォーム。

NVIDIA RTX

RTX Global Illumination（RTXGI）やDLSS3.5などのレンダリング・テクノロジーのコレクションで、ゲームやアプリケーションでのリアルタイムパストレースが可能になる。

デジタルヒューマンとバーチャルアシスタントの構成要素

デジタルヒューマン・テクノロジーの新機能を紹介するために、NVIDIAは、Hippocratic AI、Inworld AI、UneeQ などの主要な開発者と、業界を超えて一連の新しいデモンストレーションに取り組んだ。

医療やヘルスケア分野のHippocratic AIは、安全性を重視し、LLMを利用したタスク特化のヘルスケア・エージェントを作成。エージェントは患者に電話をかけ、ケア調整タスクをフォローアップし、術前指示を伝え、退院後の管理などを行う。GTCでは、NVIDIAはHippocraticAIと協業して、NVIDIA ACEマイクロサービス、NVIDIA Audio2Face、NVIDIA Animation Graph、およびNVIDIA Omniverse Streamer Clientを使用するソリューションを拡張し、生成AIヘルスケアエージェントアバターの可能性を示した。

Hippocratic AIの共同創設者兼CEOのMunjal Shah氏は次のように語っている。

Hippocratic AI 共同創設者兼CEO Munjal Shah 氏

当社のデジタルアシスタントは、世界中の患者に有益でタイムリーかつ正確な情報を提供します。NVIDIA ACE テクノロジーは、最先端のビジュアルとリアルなアニメーションでそれらに命を吹き込み、患者とのよりよいつながりを実現します

UneeQは、顧客サービスやインタラクティブアプリケーション用のAI搭載アバターの作成に特化した自律型デジタルヒューマンプラットフォーム。同社のデジタルヒューマンはオンラインでブランドを代表し、顧客にリアルタイムでコミュニケーションをとり、顧客が安心して購入できるようにする。UneeQ は、NVIDIA Audio2Faceマイクロサービスをプラットフォームに統合し、それをSynanim MLと組み合わせることで、顧客体験とエンゲージメントを向上させるための非常にリアルなアバターを作成した。

UneeQの創業者兼CEOのDanny Tomsett氏は次のように述べている。

UneeQの創業者兼CEO Danny Tomsett 氏

UneeQ は、NVIDIA アニメーション AI と当社独自の Synanim ML 合成アニメーションテクノロジーを組み合わせて、感情的に反応するリアルタイムのデジタルヒューマン・インタラクションを提供し、対話型AIを活用したダイナミックなエクスペリエンスを提供します

動的なノンプレイアブルキャラクター（NPC）をゲームに導入

NVIDIA ACEは、ゲームキャラクターに命を吹き込むために設計されたテクノロジースイート。

「Covert Protocol」は、Inworld AIが NVIDIAと提携して作成した新しいテクノロジーデモンストレーションであり、ゲーム内でのキャラクター・インタラクションの限界を押し広げる。InworldのAIエンジンには、正確な音声テキスト変換のためのNVIDIA Rivaと、本物のようなフェイシャルパフォーマンスを提供するための NVIDIA Audio2Faceが統合されている。

InworldのAIエンジンは、ノンプレイアブルキャラクター（NPC）のパフォーマンスにマルチモーダルなアプローチを採用し、認知、知覚、行動システムを統合して、美しく造りこまれた環境のなかで見事なRTXレンダリングキャラクターによる没入感のある物語を実現する。

Inworld AIのCEO、Kylan Gibbs氏は次のように述べている。

Inworld AI CEO Kylan Gibbs 氏

NVIDIA ACE マイクロサービスと Inworld エンジンを組み合わせることで、開発者は動的な物語を推進できるデジタルキャラクターを作成でき、プレイヤーがどのように解読、推理、プレイできるかについて新たな可能性が開かれます

世界中のゲームパブリッシャーは、NVIDIA ACEがゲーミング体験をどのように向上できるかを評価している。

様々な業種の開発者がNVIDIA Avatar Cloud Engineを採用

トップクラスのゲームおよびデジタルヒューマンの開発者たちは、NVIDIA Avatar Cloud Engine（ACE）および生成AIテクノロジーを使用して、ゲームやアプリケーションにおけるプレイヤーとNPC間のインタラクションを変革する方法を開拓している。

ACEを採用している開発者とプラットフォームには、Convai、Cyber Agent、Data Monsters、Deloitte、HippocraticAI、IGOODI、Inworld AI、Media.Monks、miHoYo、NetEase Games、Perfect World、Openstream、OurPalm、Quantiphi、楽天証券、Slalom、SoftServe、Tencent、Top Health Tech、Ubisoft、UneeQ、Unions Avatarsなど多岐に渡る。

プラットフォーム開発者は、デジタルヒューマンテクノロジーのフルスイートまたは個々のマイクロサービスを自社の製品に組み込むことができる。また、開発者は、開発中のAIモデルを入手するための早期アクセスプログラムに申請することで、NVIDIA ACEとの歩みを開始することができる。利用可能なモデルを探索するために、開発者は現在、ai.nvidia.comでRivaおよびAudio2Face用の生成AIの展開を加速するように設計された、使いやすいマイクロサービスのセットであるNVIDIA NIMを評価することが可能となっている。