ニュース AI王クイズプログラミング競技人工知能パナソニックソリューションテクノロジー株式会社

パナソニックが「第4回 AI王～クイズAI日本一決定戦～」問題作成部門で優勝　プロンプトエンジニアリングで高精度のクイズを生成

2024年2月21日 By ロボスタ編集部

パナソニックソリューションテクノロジーの武田鷹広氏（AI部 AIプラットフォーム課）が2024年1月26日に開催された「AI王〜クイズAI日本一決定戦〜　第4回コンペティション」（AI王）の「問題作成部門」で優勝した。

今回のコンペティション参加の機会や優勝を通じて、問題作成のために必要な「プロンプトエンジニアリング」では、AIクイズの「おもしろさ」と「正確性」の全く異なる性質のバランスをとることに対して大きな工夫を加えたことで、AIの今後の新たな可能性や、さまざまな分野での活躍の可能性を見出すことができたとしている。

AI王～クイズAI日本一決定戦～とは？

AI王は、東北大学をはじめとした各研究所による「AI王実行委員会」が主催する日本国内の質問応答研究を促進させることを目的として2020年から開始したコンペティション。第4回コンペティションでは、「問題作成部門」と「早押し解答部門」の2つの部門に分かれており、パナソニックソリューションテクノロジーは今回「問題作成部門」に出場した。

問題作成部門では、「文法などが正しく、嘘がなく、テーマに沿ったおもしろいクイズ」を自動生成する早押しクイズ自動作問AIを構築し、制限時間内に指定されたテーマに関するクイズを作成。各チームは、AIが出力するクイズの精度、クリエイティビティを競い合う。独自のアプローチによって、限られた時間内で最も正確でユニークなクイズを生み出すことが求められる。

このコンペティションでの技術は、生成AIが間違った出力を行う、いわゆるハルシネーション（生成AIが出す事実に基づかない情報を生成する現象）などの課題解決につながる。日本語データセットが十分に揃っていないことなどから、AI王としては今回から新設された「問題作成部門」での審査方法は事前に提示された評価基準に基づき、審査委員の人力による評価で行われまた。

予選で3位、本戦で2位となったが、2024年1月26日に開催された決勝戦で1位に逆転し、優勝を果たすことができた。

優勝した武田鷹広氏コメント

パナソニックソリューションテクノロジー株式会社 AI部 AIプラットフォーム課武田鷹広氏

このコンペティションでは、プロンプトエンジニアリングが中心的な役割を果たしています。プロンプトエンジニアリングとは、LLM（大規模言語モデル）へ適切な質問や指示を与える技術のことです。クイズを生成するに当たってタスクを細分化し、速度、コスト、正確性を考慮しながら、複数のクラウドLLMとローカルLLMを組み合わせ、それぞれのLLMに最適なプロンプトを与えることにより、高い精度のクイズ生成を実現できました。

今回最も苦労した点は、おもしろいクイズと正しいクイズはトレードオフの関係であり、おもしろいクイズ問題を作ろうとすると事実と異なる内容が含まれてしまい、事実関係を正しくしようとするとクイズとしてつまらない問題となる傾向がありました。LLMに与えるプロンプトの改良を重ねることでおもしろみのあるクイズ問題の生成ができるようになりました。