ニュース DOCOMO Open House 2024 メタバース生成AI VR/AR/MR NTTドコモ

【世界初】メタバース×生成AI　ドコモがメタバース空間のキャラクター達を生成AIで次々に登場させる技術を開発

2024年1月24日 By ロボスタ編集部

メタバース業界は急速に成長し大きな注目を集めている一方で、利用するユーザ数は十分とは言えない状況であり、メタバース提供事業者の課題となっている。例えば、メタバース空間にほとんど参加者がいない無人に近い環境もある。

上が誰もいない、自分ひとりしか参加していない過疎化しているメタバース空間、下がキャラクターやメンバー達で賑わっているメタバース空間の例

そこで、株式会社NTTドコモは、空間内の賑わいを創出し、群集心理の作用によりユーザを惹きつけるNPC(ノンプレイヤーキャラクター)で賑わっていることは、メタバースの実参加者を増やすのに有効だと考えた。NPCとは、いわゆるコンピュータが自動で動作を与えているキャラクターのことで、ゲームでは通りをウロウロしている村人や商人などがいるが、それらはコンピュータが作りだした人物であり、キャラクター。それをイメージするとわかりやすい。

ドコモは、それらNPCをメタバースの管理者がテキスト入力することで作り出すことができ、ある程度の行動や性格などを自動で与える生成AIを開発し、2024年1月17日と18日に東京国際フォーラムで開催した「docomo Open House’24」で「無人ガラガラメタバースに賑わいを～生成AIにより多様に振る舞うNPCを提供～」ブースでデモを公開した。

メタバース空間内の自動キャラクターを、テキスト入力のみで自動生成

従来はNPCを作るのにもキャラクターのデザイン製作やプログラミングにも時間とコストがかかっていた。今回ドコモが開発したシステムは、生成AIを用いることで誰でも簡単にスピーディーに、しかもキャラクターCG制作やプログラミングなどの知識も必要なく、メタバース空間内のNPC(ノンプレイヤーキャラクター)を、テキスト入力のみで自動生成する生成AIを世界で初めて開発した(2023年12月時点／同社調べ)。

同技術を利用することで、プログラミングやアルゴリズムなどの専門知識が無くても、外見や行動、空間内での役割を備えたNPCを20分程度で自動生成することが可能となる。

■【動画】【A-01】無人ガラガラメタバースに賑わいを　～生成AIにより多様に振る舞うNPCを提供～

同技術の開発概要

同技術は、「行動ロジック生成AI」、「アニメーション生成AI」(Human Motion Diffusion Modelを利用)、「外見生成AI」(Text2Meshを利用)の3つの生成AIで構成するもので、「行動ロジック生成AI」の開発、および3つの生成AIを自動連携する技術の開発は同社独自であり、世界初となる。

ビヘイビアツリーイメージ

「行動ロジック生成AI」は、メタバース空間内のNPCの行動を規定する一意のビヘイビアツリーをテキスト入力のみで自動生成する技術だ。NPCの行動はビヘイビアツリーという手法を用いて規定されることが一般的で、ビヘイビアツリーの作成はこれまでプログラム開発者が要求仕様をコード記述を用いて制作するなど、ある程度の技術が必要であった。さらに、3つの生成AIを自動連携する技術の開発により、「行動ロジック生成AI」で生成したビヘイビアツリーと、「アニメーション生成AI」で生成したNPCの骨格データ、「外見生成AI」で生成したNPCの3Dモデルの3つを連携させ、テキスト入力のみでNPCを自動生成することが可能となる。

3つの生成AIの自動連携イメージ

なお、この取り組みは、新しいアイデンティティ・コミュニティの形成をめざす「メタコミュニケーション構想」を基軸としており、将来的にはドコモが有するLLM付加価値基盤やパーソナルデータと連携も図っていく予定であり、パートナーとともに人々の生活がより豊かになる技術の価値検証を行う同社の「ライフスタイル共創ラボ」の取り組みの一環として、さまざまな産業分野で活用可能とする「イノベーション共創基盤」の開発も行っていくことになっている。

開発内容について

今回の開発内容は、主に以下の2点となる。

行動ロジック生成AI

行動ロジック生成AIは各ノードのパラメータをプロンプトに基づき生成し、それらノードを木構造化することでビヘイビアツリーを構築。ノードパラメータの生成には、Language Large Model(LLM)を活用している。LLMを用いたノードパラメータ生成に際して、以下の工夫をした。

工夫1．	【LLMの出力対象を一つのノードのパラメータに限定】一度のLLMへの入出力によって、木構造全体を構成する各ノードのパラメータを生成する場合、LLMの表現能力に応じて、生成可能なビヘイビアツリーの規模に限界が生じる。その障壁を排除するため、LLMの出力対象を一つのノードに限定した。
工夫2．	【LLMの出力として、子プロンプトを追加】導入に際して、生成処理単位を各ノードに分割することで木構造を保ったノード生成の困難さが課題となる。これに対して、LLMに出力として子プロンプトを追加し、それを子ノードのパラメータ生成に利用することで解決した。これによって親ノード・子ノードの構造を保った生成、つまりビヘイビアツリー全体の生成が可能となった。以上の工夫によって、LLMの表現能力に関わらず多種多様なNPCの行動ロジックの生成を実現させた。

工夫1．

【LLMの出力対象を一つのノードのパラメータに限定】一度のLLMへの入出力によって、木構造全体を構成する各ノードのパラメータを生成する場合、LLMの表現能力に応じて、生成可能なビヘイビアツリーの規模に限界が生じる。その障壁を排除するため、LLMの出力対象を一つのノードに限定した。

工夫2．

【LLMの出力として、子プロンプトを追加】導入に際して、生成処理単位を各ノードに分割することで木構造を保ったノード生成の困難さが課題となる。これに対して、LLMに出力として子プロンプトを追加し、それを子ノードのパラメータ生成に利用することで解決した。これによって親ノード・子ノードの構造を保った生成、つまりビヘイビアツリー全体の生成が可能となった。以上の工夫によって、LLMの表現能力に関わらず多種多様なNPCの行動ロジックの生成を実現させた。

「行動ロジック生成AI」、「アニメーション生成AI」、「外見生成AI」の自動連携

3つの生成AIの連携は、「行動ロジック生成AIとアニメーション生成AIの連携」「アニメーション生成AIと外見生成AIの連携」、の2つの連携によって実現されている。

1.行動ロジック生成AIとアニメーション生成AIの連携：
行動ロジック生成の過程でアニメーション生成に必要なプロンプトを生成することで、アニメーション生成のための個別プロンプトの入力を要求せず簡易かつスムーズな連携を実現。
2.アニメーション生成AIと外見生成AIの連携：
外見生成AIから出力されたNPCの3Dモデルに対して、アニメーション生成AIの出力されるアニメーションに適合する骨格データを自動的に埋め込むツール(リギングツール)を開発し実現している。

NPC自動生成ワークフローイメージ

今後の展開について

同社は同技術をさらに高度化し、2024年度中に株式会社NTTコノキューが提供する仮想空間プラットフォーム「DOOR」への実装をめざして取り組むとともに、ユーザーの生活が便利で豊かになる活用方法を探索し、地方創生や地域活性化に貢献する新しい技術やサービスの開発に向け取り組んでいくとのことだ。なお、同取り組みは、ドコモ開催の「docomo Open House’24」へ出展している。