ニュースレポート Alexa Cortana Google Assistant Siri 音声アシスタント AI音声アシスタント Echo Google Home HomePod Invoke Amazon Apple Google Microsoft

AIアシスタントのIQテスト、Googleアシスタントがトップ

2018年7月26日 By 中橋義博

2018年7月25日、Loup Venturesが発表したAI音声アシスタントの評価テスト結果のレポートを紹介する。

原文ではIQテストとなっているが、実際には質問への回答テスト。Apple Siri、Google Assistant、Amazon Alexa、Microsoft Cortanaに対して、約800の質問を行い、その結果を2017年4月と2018年7月と比較したものだ。

外部リンク
Loup Ventures / Annual Digital Assistant IQ Test – Siri, Google Assistant, Alexa, Cortana

今回は「質問を理解できたか？」「正しく返答できたか？」の2つの指標で評価。また質問は以下5つのカテゴリで行われた。

質問のカテゴリ

・ローカル – 最も近いコーヒーショップはどこ？
・コマース – ペーパータオルを注文して
・ナビゲーション – バスでアップタウンへ行く方法は？
・インフォメーション – 今夜は誰がツインズをプレイする？
・コマンド – 今日の午後2時にスティーブに電話するのをリマインドして

正解率

Image: Loup Ventures

正しく返答できた率は2017年4月、2018年7月ともにGoogle Assistantがトップ。次いでApple Siri、Amazon Alexa、Microsoft Cortanaと続いた。

質問の理解力についてはGoogle Assistantが100%とトップだが、他社も98〜99%と高いレベルにある。

カテゴリ別の正解率

Image: Loup Ventures

Google Assistantは、コマンドを除くすべてのカテゴリで優秀だった。コマンドのみApple Siriがトップ。コマースでAmazon Alexaがトップではないというのも意外だ。

正解率の改善

Image: Loup Ventures

15か月間でGoogle Assistantの正解率は11％改善、Siriは13％、Cortanaは3%だった。Alexaはアプリでの過去評価データがないので集計外。各社正解率は上がっており、日々性能が向上していることが示された。

なお、本調査はあくまで英語版の調査であり、日本語版では別の結果になる可能性もあるだろう。

関連記事（スマートスピーカー / AIスピーカー関連）
ロボスタ / Amazon Echo

ロボスタ / Amazon Alexa

ロボスタ / Google Assistant

関連Facebookコミュニティ
Amazon Echo fan club japan

関連Facebookコミュニティ
Google Home fan club japan

関連Facebookコミュニティ
Apple HomePod / Siri fan club japan

ABOUT THE AUTHOR /

中橋義博

1970年生まれ。中央大学法学部法律学科卒。大学時代、月刊ASCII編集部でテクニカルライターとして働く。大学卒業後、国内生命保険会社本社において約6年間、保険支払業務システムの企画を担当。その後、ヤフー株式会社で約3年間、PCの検索サービス、モバイルディレクトリ検索サービスの立ち上げに携わる。同社退社後、オーバーチュア株式会社にてサービス立ち上げ前から1年半、サーチリスティングのエディトリアル、コンテントマッチ業務を担当する。2004年に世界初のモバイルリスティングを開始したサーチテリア株式会社を創業、同社代表取締役社長に就任。2011年にサーチテリア株式会社をGMOアドパートナーズ株式会社へ売却。GMOサーチテリア株式会社代表取締役社長、GMOモバイル株式会社取締役を歴任。2014年ロボットスタート株式会社を設立し、現在同社代表取締役社長。著書にダイヤモンド社「モバイルSEM―ケータイ・ビジネスの最先端マーケティング手法」がある。