2019年8月16日、Loup Venturesが発表したAI音声アシスタントの評価テスト結果のレポートを紹介する。
原文ではIQテストとなっているが、実際には質問への回答テスト。Apple Siri、Google Assistant、Amazon Alexaに対して、約800の質問を行い、その結果を2017年2月から2019年8月まで継続調査されたものとなっている。
関連記事
【Loup Ventures調査】米国スマートスピーカー評価結果、Amazon Echo、Google Home、HomePodの回答率は？
【Loup Ventures調査】米国スマートスピーカー評価結果、Amazon Echo、Google Home、HomePodの回答率は？
【Stone Temple調査】2018年、AIアシスタントはどれがもっとも賢いのか？
AIアシスタントのIQテスト、Googleアシスタントがトップ
【Loup Ventures調査】2018年米国スマートスピーカーIQテスト、Googleが首位を維持するもライバルが大きく改善傾向に
正解率
Image: Loup Ventures
正しく返答できた率はGoogle Assistantがトップ。次いでApple Siri、Amazon Alexaと続いた。
質問の理解力についてはGoogle Assistantが100%とトップだが、他社も99.8～99.9%と高いレベルにある。
カテゴリ別の正解率
Image: Loup Ventures
Google Assistantは、コマンドを除くすべてのカテゴリで優秀だった。コマンドのみApple Siriがトップ。コマースでAmazon Alexaがトップではない。この傾向は昨年から変わっていない。
カテゴリ別の正解率の改善傾向
以下のグラフはアシスタントごとの改善傾向を示したもの。
Image: Loup Ventures
Googleは13ヶ月の間に7%向上した。
Image: Loup Ventures
Appleは13ヶ月の間に5%向上した。
Image: Loup Ventures
Amazonは13ヶ月の間に18%向上した。全カテゴリ大幅に改善されていることがわかる。
なお、本調査はあくまで英語版の調査であり、日本語版では別の結果になる可能性もあるだろう。
Source：Loup Ventures
