NTTと東映、デジタルヒューマンで新たな接客コミュニケーションの共同実験　高精細スキャンやモーションキャプチャ、モーション生成AI技術とは

労働力不足や生産性向上が課題となる中、企業ではXRやメタバース、ロボットなどの先進技術活用の検討が進んでいる。
中でも、コンタクトセンターや店舗などの顧客接点において、チャットボットやバーチャルなキャラクターの導入が広がってきたが、リアルな人との接点を求める利用者は依然として多く、さらなる普及に向けてはよりリアルな人間に近い動きやコミュニケーションが可能なバーチャルキャラクターが求められている。
このような背景をふまえ、NTTコミュニケーションズ株式会社(NTT Com)、東映株式会社(東映)および株式会社NTT QONOQ(コノキュー)は、デジタルヒューマンを活用し、接客やコミュニケーションを行う実証実験を2023年3月9日より開始した。

3社は、同実証実験を通じて得られた知見をもとに、自社内でのデジタルヒューマンの活用を検討するとともに、イベントやショールームでのアテンダント、企業の受付、アパレル店舗の店員など幅広い業種・業界のユーザーへ、デジタルヒューマンを活用したソリューションの提供を目指すとしている。

デジタルヒューマン「CONN(コン)」

「CONN(コン)」は、高精細スキャンとモーションキャプチャを活用し、3DCGと先端テクノロジーを組み合わせて写真のようにリアルな人物を創り出すことができる、東映ツークン研究所のデジタルヒューマン技術で生成された”ビジュアル”と、NTT人間情報研究所がもつモーションや音声を生成する技術により表現された”パーソナリティ”(ふるまいや音声)を掛け合わせることにより生み出された、リアリティのあるデジタルヒューマンだ。

東映ツークン研究所のデジタルヒューマン生成技術とNTT人間情報研究所が開発した「モーション生成AI技術」「音声合成AI技術」を連携させることで、より人間に近い自然なふるまいができるデジタルヒューマン「CONN」を生み出した。

▼用語について

モーション生成AI技術	NTT人間情報研究所にて研究開発中の技術で、特定の人物の発話とその時のモーションのデータから構築されたモーション生成モデルにより、その人物の発話音声のみから対応する「特定の人物らしいモーション」を自動で生成する技術。
音声合成AI技術	NTT人間情報研究所が開発した技術で、Deep Neural Network技術と多数話者の音声のデータベースを活用し、特定の人物の少量の音声データから、その人物の話者性を保ったまま高い肉声感をもつ明瞭で自然な音声を合成することができる。
デジタルカタリスト	「OPEN HUB」において、各企業とともに共創を行う社内外の専門家を「カタリスト」と呼び、2023年2月現在、約400名が在籍。東映ツークン研究所の技術とNTT人間研究所の技術の掛け合わせにより誕生したデジタルヒューマンのカタリスト

同実証実験の概要

今回の実証実験では、「CONN」が、「NTT Comのワークプレイス「OPEN HUB Park」で接客やコミュニケーションを行い、「デジタルカタリスト」として活動することで、企業における新たな顧客接点としてのデジタルヒューマン活用の可能性を検証する。

▼各社の役割

NTT Com	実証実験場(OPEN HUB Park)の提供および評価シナリオ検討、アーキテクチャ検討、インフラ構築、品質管理
東映	「デジタルカタリスト」の監修、制作、システム構築
コノキュー	ソフトウェア開発および実証実験内容の検討、ビジネス展開に向けた検討

「CONN」の生成

1.	【ビジュアル】実在のカタリスト9名の顔を、東映ツークン研究所の最新版の「LightStage」(人間の顔のスキャンシステム)にてスキャンし、CGによりリアルな人間(デジタルヒューマン)を生成する技術を活用して生成
2.	【パーソナリティ(ふるまい、音声)】実在するカタリストのモーションキャプチャデータと音声データをNTTグループが開発するAIエンジンに学習させ、カタリストのふるまいと声の特徴を再現
3.	【ビジュアルデータとパーソナリティデータの融合】NTT Comが開発した、独自ソフトウェアの活用により、生成したビジュアルデータとパーソナリティデータの特徴点を組み合わせ、学習済みのプログラムをもとに、モーション生成/音声生成を行うことで、「CONN」の3DCG化を実現

【ビジュアル】

【パーソナリティ(ふるまい、音声)】

「CONN」による「OPEN HUB Park」案内

「CONN」自らが思考しているかのように、表情やふるまい、声のトーンなどをお客さまとの対話の中で柔軟に変化させ、自然なコミュニケーションをしながら「OPEN HUB Park」内の以下のゾーンを案内する。

1.	【レセプションゾーン】7つのLEDモニターとARグラス上で「CONN」が「OPEN HUB Park」のコンセプトを紹介
2.	【プレゼンゾーン】等身大のモニターに「CONN」が登場し、巨大LEDモニター上に表示される映像コンテンツの説明を行うとともに、ユーザーとインタラクティブな会話を楽しめる簡単な質疑応答も実施
3.	【ライブラリーゾーン】ARグラス上にSmart Worldの取り組みを象徴する動物たちが登場し、「OPEN HUB Park」内のライブラリーゾーンを案内。※同実証実験開始当初は実装せず、今後実装予定。