りんな(rinna) AI対話技術の最前線　採択された論文の音声合成技術のポイントと今後の展望をrinnaの研究チームに聞く

編集部

国際会議「INTERSPEECH 2022」において2本の論文が採択され、御社の音声合成技術に関する研究成果が評価されました。ここではそのうちの1本で発表された、対話に特化した音声合成の技術について、詳しく教えて頂けますか?

三井さん

日常生活で人間は音声を発して会話していますが、同じテキスト文であっても言葉として発する場合は、明るい口調であったり、暗い口調であったり、はっきりと喋ることもあれば、曖昧な口調で話すなど、様々な発話スタイルで音声を発していると思います。そして、会話では相手のトーンに同調して話すことも多いと思います。
今回、発表した論文では特に、対話の中で相手がどのように話すかに応じて、同調して話しを返す、という点を重視しています。相手のトーンが明るくなったり、暗くなったり、テンションをかけて大きな声で発話したりすると、私達はそれに同調してトーンを変えて受け答えしたり、言葉を返したりします。それをAIの対話にも再現することによって、人間らしさに近づくのではないかと考えました。

編集部

なるほど。会話のやりとりで相手にトーンを合わせてお互い会話することに視点が置かれているということですね。

三井さん

はい。通常の音声合成は、発話すべき一文のテキストだけに注目して、人間に近い自然な発話に近づけるという研究・開発がほとんどですが、今回の論文では、過去の発話履歴にも着目をしているところが技術的な特徴です。

編集部

それをAIモデルを開発して実現しているんですよね? どのように作成したのでしょうか。

三井さん

機械学習を使ってAIモデルを生成し、この対話を実現しています。最初は膨大な学習データが必要になるので、自社で13時間以上の会話データを収録をしました。そして、過去の対話履歴や、どのように喋ったらどのようなスタイルで実際に返したか等を考慮し、同調する適切な対話のスタイルを予測するAIモデルを生成し、その手法を今回は論文として形にしました。

編集部

短文の読み上げデータから学習するだけでなく、過去の対話履歴や会話の流れをデータとして学習し、会話の前後関係を考慮したトーンで発話する音声合成のAIモデル学習法が今回の論文のポイントになっているんですね。

沢田さん

つけ加えると、同調するというのは、単純に声の高さを合わせるだけでなく、「笑いながら皮肉を言う」なんてケースでは、次の返答は「暗い」トーンになる、ということもあり得ます。同調するというのは、ただトーン合わせるだけでなく、そのように話の内容によっても感情が変わり、それが声のトーンに現れるといったことも考慮できます。音のトーンやテンションに加えて、話の内容(テキストの情報)の両方を考慮して発話して返答するようになっています。

沢田さん

従来の音声合成だと、息つぎや相づち、笑い声、「えーと」や「まぁ」などのフィラーは、対話の内容とは無関係なものとして捨てる(音声合成の学習対象から取り除く)のが一般的でした。それらはAIのモデル化がしづらいという一面もあります。今回の研究では、今まで無関係と考えられていたそのようなものをなるべく捨てずにAIモデルに取り込み、人間の言いよどみなどもむしろ人間らしい発話のひとつとして、AIモデルに組み込めたという点が特徴のひとつでもあると思っています。

編集部

今回の論文の研究を通して技術的に難しかった点を教えて頂けますか。

三井さん

正確なイントネーションはまだまだ難しいと感じています。
朗読やニュースなどの読み上げについては、元になる音声も平坦で正確に聞きやすく読む音声データが多いので、単語単位のイントネーションやアクセントはできるだけ正確に発話するように機械学習できるのですが、今回のようなケースのように、比較的自由にふたりが対話を展開するので、そこから正確なイントネーションの再現というのはまだまだ課題が残ると感じています。

編集部

正確なイントネーションやアクセントはとても難しいですよね。御社のシステムでは、アクセントを再現する音声ファイルを膨大に持っていて組み合わせているのでしょうか。
例えば「モーニング」という単語を読み上げる際に、正確にモーニングというアクセントを再現する音声ファイルを膨大に持っているのか、膨大な単語辞書からモーニングをヒットしてその発音記号のようなメタデータから正確なアクセントを生成しているのでしょうか。

三井さん

後者です。音声合成では、読み上げに「モーニング」というテキストが来たら、内部辞書に記述されている正しいアクセントで発話します。もしも辞書に「モーニング」がなかった場合は、大量のデータから学習したモデルが近い単語とアクセントの音声を設定して読み上げる、という手法をとっています。

沢田さん

よく使われる単語は辞書ベースで正しいアクセントを使い、辞書にない単語は予測ベースのAIモデルが発音するハイブリッドのような構造になっています。最近のAI関連のキーワードでは「End to End」、データドリブンで一気にデータから学習させてしまっても高い精度が出る、という手法もあります。

編集部

なるほど。現状の課題について教えてください。

三井さん

先ほど話題になりましたが、人の発話と比較した場合、正しいイントネーションがまだまだ難しい点がひとつ。もうひとつは、今回の論文で扱えなかったのですが「発話タイミングの推定」です。
2人の話者が会話する場合、質問にしろ回答にしろ、話し出すタイミングをはかります。相手が話し終わってどのくらいしてから話し始めるか、相槌を打つ場合は相手の発話の中で適切なタイミングで打つか、といったことです。そんな発話のタイミングが現状の手法だとまだモデル化がきちんとできていないので、将来的には発話タイミングも含めてモデル化することができれば、「キャラる」にあるようなAI同士の会話を音声合成で、人間にもっと近い発話で実現することも可能になると考えています。

編集部

他のTTS開発企業と比べてrinna社が優れている点を教えてください。

三井さん

品質面と最新手法のキャッチアップという点だと思います。
品質面では音声合成に限らず言語生成や画像生成技術も持ち、質のいいデータを大量に持っていることが、高品質なAIモデルを開発するためにプラスになっていると感じています。音声対話については自社内で複数の話者による高品質のデータを収録することが迅速にできるので、それを活用して様々なスタイルでの品質の高いTTSを実現しています。
また、この分野は非常に進歩の早い分野です。なるべく最新の手法を導入した方が精度が高くなる可能性が高いため、最新手法のキャッチアップは不可欠です。今回の論文で使用した手法も、昨年提案された最新のものです。2～3年前の手法を採用している企業が多い中にあって、高品質な対話を実現できた理由のひとつになっていると思っています。

編集部

論文が完成するまでの作業で苦労した点を教えてください。

三井さん

今、お話ししたことと関係があるのですが、実は今回、3つの手法を試しました。いろいろ試行錯誤して、結局、最新の手法が一番精度が高かったのですが、その選択に時間がかかってしまった点がひとつです。
もうひとつが、学習の素になった収録した対話データは、完全に自由に話してもらった13.5時間分ものデータなのでシナリオや書き起こし情報がありませんでした。そのため、音声認識を使い、更に誤りの訂正を数名のスタッフがおこなったので、それらの作業負担が予想以上にかかってしまったところです。

編集部

今回の論文発表のあとは、今後どのような研究を行う予定ですか。

三井さん

今回の論文発表で、トーンの同調についての研究はひと区切りがつきました。次は先ほども触れましたが「発話タイミングの予測」のモデル化についての研究を進めたいと思います。また、リアルタイムで会話をするに音声認識やテキスト変換や解析といったモジュールが必要となり、結果的に負荷が大きく、応答の高速性が損なわれます。そこで、文章(テキスト)を介さず、音声だけで対話する研究を始めていて、それも進めていきたいと考えています。

編集部

りんなは歌を歌い、絵画やアニメ『BEASTARS』のオープニングイラストを描いたり、絵画にも挑戦していますが、チャットボットや音声合成とこれら描画の生成というのは技術的に似ているのでしょうか。

沢田さん

広い意味ではどれもAIを使っているので似ています。入力と出力の形式の違いを表すAIモデル構造を構築して、その上でパーツとしてコンテンツを変えていけば、テキストであったり音声であったり、イラストや絵画のようにいろいろな分野に応用して出力を変えていくことができます。
また、私達はどちらかというと認識技術というより、生成技術に特化したAIを研究してきているので、文や音声、画像をAIが生成して、人々に公開する、誰かに何かを見せることにフォーカスしてきました。その結果、人と人、人とAIのコミュニケーションが拡張していく世界を目指しています。