ChatGPTはアンケート調査の代替となり得るか?「ChatGPTとアンケートの回答比較調査」を実施　回答に大きな違いが現れた設問は

マーケティングリサーチ会社のアスマークは、1ヵ月に1回以上ECサイトで買い物をする20代～50代男女に「ChatGPTとアンケートの回答比較調査」を実施。同様の質問内容をChatGPTに回答させた結果を比較し調査データとして公開した。（調査日：2023年4月11日〜4月13日）

比較調査を行った経緯

対話型AIの進化により、ChatGPTやBardなどが登場し、様々な業界で大きな変革が起こっていて、近い将来、これらのAIが既存のビジネスモデルを根本から変える可能性が指摘されている。

一部の企業では、すでにビジネスにこれらのAIを応用し、新たなサービスを生み出す動きもある。そのため、どのように対話型AIを活用するかが、多くのビジネスパーソンが直面する重要な課題となっている。

対話型AIの利用を始める際、多くの人が「検索」のような基本的な使い方から試みるが、対話型AIの回答がどの程度適切なのかについては疑問が残る。

例えば、アンケート調査の結果と対話型AIが回答した結果を比較した場合、どの程度の差異が生じ、対話型AIがアンケート調査の代替となり得るかを検証するため、アンケート調査とChatGPTの回答を比較することにしたとアスマークは説明をしている。

AIの回答について

今回使用したAIはChatGPT（GPT4）。特別なプロンプトは使用せず、レポートに記載された指示と選択肢だけを提示し、回答を出力させた。また、Q2（自由記述回答）については、ChatGPTが生成した文章（568文字）をテキストマイニングにかけている。

回答比較ピックアップ

ECサイトで最も購入したことがあるもの（最もよく購入されるもの）

ECサイトで購入したことがあるもののランキングで、アンケートとChatGPTで最も順位に差があったのは「キッズ・ベビー・玩具」で、アンケートでは15位、ChatGPTでは3位とかけ離れている。次いで「コスメ・健康・医薬品」「スポーツ・アウトドア」と続いている。

ECサイトで買い物をする理由

ECサイトで買い物をする理由はアンケートとChatGPT共に、「ポイント還元」「実店舗(販売店)」「商品」などのワードが多く挙げられており、「お得であること」「利便性」「使い勝手の良さ」などを重視されていることがわかる。一方で、アンケートでは「コロナ」などの時事ネタに関するワードがあげられているが、ChatGPTの回答では挙げられていない。

「配送」に関する満足度

「配送」に関する項目別満足度ランキングでは、アンケートは、1位が「配送の正確さ」、2位が「配送スピード」、3位が「商品の到着状態の良さ」となっている。ChatGPTの回答では、1位が「商品の到着状態の良さ」2位が「配送料金の妥当性」3位が「追跡サービスの有無」となっているが、2位の「配送料金の妥当性」は、アンケートでは9位となっており、大きな順位の違いが見られた。

「送料」に関する満足度

「配送」に関する項目別満足度ランキングでは、アンケートは1位が「配送の正確さ」、2位が「配送スピード」、3位が「商品の到着状態の良さ」となっている。ChatGPTの回答では、1位が「商品の到着状態の良さ」、2位が「配送料金の妥当性」3位が「追跡サービスの有無」となっているが、2位の「配送料金の妥当性」は、アンケートでは9位となっており、大きな順位の違いが見られた。

調査内容・調査概要

この記事を読んだ人におすすめ

関連する記事はまだありません