rinna社がAIキャラクターの多様性を高める新技術「多話者多言語音声合成」を発表『劇場版仮面ライダーゼロワン REAL×TIME』で採用

2020年12月2日 By 山田航也

rinna株式会社は、MicrosoftのAI＆リサーチ部門でAIチャットボット「AIりんな」等の研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業だ。
従来、AIキャラクターの音声合成を実現するためには、AIがキャラクター話者の声を学習するために、大量の音声データを収録して用意する必要がある。rinna社が実現した「多話者多言語音声合成」は1つのAI(音声合成モデル)から、複数話者と複数言語の音声を合成する技術。この技術により、少量の音声データを用いた学習でもそれぞれのAIキャラクターがそれぞれの個性に応じた合成音声で会話することを可能にする。さらに、日本語と英語といった複数の言語の音声も含めて1つの音声合成モデルを学習することで、英語がしゃべれない話者のキャラクター性を保ったまま、英語の音声を合成することも可能。

左が一般的な音声合成モデルの学習、右が多話者多言語音声合成の学習

rinna社はAIキャラクターの音声表現の多様性を高める新技術として「多話者多言語音声合成」を発表し、同技術を使って合成したAIの音声データが映画『劇場版仮面ライダーゼロワン REAL×TIME』(東映配給、12月18日公開予定)の一部シーンで採用されたことを発表した。

「多話者多言語音声合成」のデモ音声は下記のサイトから。異なるキャラクター性を持った2つのAIチャットボットが、それぞれ「日本語」「英語」「英語混じりの日本語」「日本語混じりの英語」の台詞を発話する。

関連サイト
デモサイト

rinna社について

rinna社は、前述の通りMicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきた。

これらの最新技術は、同社が運営するLINE上のAIチャットボット「AIりんな」や会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどに使用されている。