ニュースジェネレーティブAI チャットボット大規模言語モデル生成AI 人工知能株式会社東芝

東芝　曖昧な質問にも適切に回答する対話エージェントを開発「応答する生成 AI」と「それを評価する AI」が協調

2024年9月10日 By ロボスタ編集部

東芝は、「応答生成 AI」と「応答評価 AI」の2つのAIが協調することで、曖昧な質問でも適切に回答できる生成AIを用いた対話エージェントを開発したと発表した。この技術によってインフラ分野における経験の浅い作業者にも適切に作業手順を提示し、業務効率の改善に貢献するとしている。
この記事では2つのAIが協調するしくみも解説する。

「応答生成 AI」と新開発の「応答評価 AI」が協調

近年、OpenAIのChatGPTなどに代表される高性能な大規模言語モデル（Large Language Model:LLM）を活用した生成AIが登場し、これらのAIを搭載したチャットボットが普及してきた。ところが、作業手順など、ユーザーが知りたい適切な回答を引き出すには、具体的な質問を入力するなど質問の仕方にコツが必要である。

今回発表した技術は、従来技術である「応答生成 AI」に、新たに開発した「応答評価 AI」を加え、役割の異なる二つの AIを協調させることで、曖昧な質問に対しても適切な回答を行える。

ユーザーから質問が入力されると、「応答生成 AI」が応答の候補を複数生成し、「応答評価 AI」がそれらの良さを評価し、最も良い応答候補を選択してユーザーへ回答する。

問い返しによって質問が具体化するように誘導

また「応答評価 AI」が、質問が曖昧で回答が難しいと判断すると、質問に直接回答せず、問い返しによって質問が具体化するように自動的に誘導する。これにより、曖昧な質問に対しても適切に回答することができるようになった。

適切な回答率は30%から73.3%まで向上

東芝は、実際の設備の保守作業を想定し、作業中の不明点に対する作業手順を提示するユースケースに本技術を適応。その結果、経験の浅い作業者が使いがちな曖昧な質問に対して正しい作業手順が得られる比率は、従来の「応答生成 AI」技術のみでは30%だったが、本技術により73.3%まで向上。本技術は保守点検などの現場への生成 AIの導入を促進し、作業者の熟練度に関わらず、作業手順を適切に提示することで業務効率改善が期待することができるとしている。

東芝は本技術の詳細を、2024年9月10日から13日に日本工業大学で開催される電子情報通信学会ソサイエティ大会で発表する。

開発の背景

橋やトンネルなどのインフラや工場やプラントなどにおける設備は老朽化が進み、効率的な維持管理が課題となっている。また、少子高齢化により労働人口が減少し、高い技能を持つ熟練者が退職し、保守点検作業者の人手不足が顕在化する中、省人化につながる保守点検サービスの市場規模は2025年に2兆9,350億円となる見込みで、より効率的なサービスへの期待が高まっている。

経験が浅い作業者が効率良く作業をするためには、準備時の下調べや作業中に生じる不明点や疑問点をすぐに解消し、できるだけ作業を停滞させないことが重要である。そのため、保守現場において、対象に関する知識や過去の事例などを、人に聞くように自然な文で質問して回答を得られる生成AIを搭載したチャットボットの導入が進められている。

しかし、従来のチャットボットでは、質問文が具体的な場合、知りたい情報に対して適切な回答が得られるが、曖昧な場合は、質問とは関係のない情報を含んだ回答になってしまうため、ユーザーは必要な情報を回答の中から自ら探さなくてはならず作業の停滞に繋がるため、曖昧な質問をしがちな経験の浅い作業者でも知りたい情報を適切に引き出すことができるチャットボットが求められていた。

2つのAIが協調するしくみ

東芝は、従来技術である「応答生成 AI」に、新たに開発した「応答評価 AI」を加え、役割の異なる2つのAIを協調させることで、曖昧な質問に対しても適切な対応を可能にする対話エージェント技術を開発。「応答生成 AI」は、ユーザーの質問文から複数の応答候補を生成し、「応答評価 AI」は応答生成 AIで生成された応答候補それぞれについて、適切さを評価する。これら二つのAIの協調により、ユーザーの質問文に対する複数の応答候補とそれらの適切さの点数を導き出す。そして、この点数に基づき最適な応答を選択しユーザーに対して応答する。

対話エージェントの概要

具体的には、「応答生成 AI」は、ユーザーの質問に対して『回答する場合の応答候補』、追加の情報をユーザーに入力してもらうために『問い返す場合の応答候補』のような複数のパターンの応答候補を生成。「応答評価 AI」は、各応答候補が、(a)質問文に対して正しい情報をだけを含むか、(b)冗長でないか、という二つの観点で回答の適切さを採点する。

次に、点数が最大となる応答候補をユーザーに対して応答する。

ユーザーの質問文が十分に具体的であった場合は、対話エージェントは“回答する場合”の応答候補の中から選んで回答を返すが、質問文が曖昧で具体化が必要な場合には“問い返す場合”の応答候補から選び、ユーザーへ問い返す。問い返された場合には、ユーザーは指示に従って追加の情報を入力する。このようなやり取りを行うことで、曖昧な質問でも的確かつ正確に知りたい情報が得られるようにサポートする。

東芝は、実際の設備の保守作業を想定し、作業中に生じる不明点を質問してその対処法を提示するユースケースにおいて、本技術の有効性を検証。本検証では、従来技術である「応答生成 AI」のみのチャットボットと、東芝が開発した対話エージェントを用いたチャットボットの性能を比較した。

困りごとを入力する際、情報を具体的に入力したパターン（「機器Ａの画面にエラーコード 1234 が表示されている」など）と、曖昧に入力したパターン（「動かない」、「ジョブエラー」など）のそれぞれで検証した。

本技術の性能評価

検証の結果、従来技術では具体的な質問での成功率が76.7%であったのに対して曖昧な質問では30.0%にまで低下したが、本技術では、曖昧な質問に対しても具体的な質問の場合とほぼ同等の73.3%の成功率を達成した。曖昧な質問文に答える際、従来技術は全て1ターン目で回答していたのに対して、本技術は平均で2.3 ターンのやり取りを行っており、この結果から、本技術が問い返しによる質問の具体化を通して適切に回答できていることを確認した。