ニュース調査 ChatGPT ジェネジェネレーティブAI 生成系AI 人工知能株式会社アスマーク

ChatGPTはアンケート調査の代替となり得るか?「ChatGPTとアンケートの回答比較調査」を実施　回答に大きな違いが現れた設問は

2023年6月7日 By ロボスタ編集部

マーケティングリサーチ会社のアスマークは、1ヵ月に1回以上ECサイトで買い物をする20代～50代男女に「ChatGPTとアンケートの回答比較調査」を実施。同様の質問内容をChatGPTに回答させた結果を比較し調査データとして公開した。（調査日：2023年4月11日〜4月13日）

比較調査を行った経緯

対話型AIの進化により、ChatGPTやBardなどが登場し、様々な業界で大きな変革が起こっていて、近い将来、これらのAIが既存のビジネスモデルを根本から変える可能性が指摘されている。

一部の企業では、すでにビジネスにこれらのAIを応用し、新たなサービスを生み出す動きもある。そのため、どのように対話型AIを活用するかが、多くのビジネスパーソンが直面する重要な課題となっている。

対話型AIの利用を始める際、多くの人が「検索」のような基本的な使い方から試みるが、対話型AIの回答がどの程度適切なのかについては疑問が残る。

例えば、アンケート調査の結果と対話型AIが回答した結果を比較した場合、どの程度の差異が生じ、対話型AIがアンケート調査の代替となり得るかを検証するため、アンケート調査とChatGPTの回答を比較することにしたとアスマークは説明をしている。

AIの回答について

今回使用したAIはChatGPT（GPT4）。特別なプロンプトは使用せず、レポートに記載された指示と選択肢だけを提示し、回答を出力させた。また、Q2（自由記述回答）については、ChatGPTが生成した文章（568文字）をテキストマイニングにかけている。

回答比較ピックアップ

ECサイトで最も購入したことがあるもの（最もよく購入されるもの）

・アンケート設問：あなたが、ECサイトで最も多く購入したことがあるものを、1つだけお知らせください。（単一回答）
・ChatGPT設問：以下の中から一般的にECサイトで最も多く購入されているものを、お知らせください。

ECサイトで購入したことがあるもののランキングで、アンケートとChatGPTで最も順位に差があったのは「キッズ・ベビー・玩具」で、アンケートでは15位、ChatGPTでは3位とかけ離れている。次いで「コスメ・健康・医薬品」「スポーツ・アウトドア」と続いている。

ECサイトで最も購入したことがあるもの（最もよく購入されるもの）

ECサイトで買い物をする理由

・アンケート設問：あなたが、ECサイトで買い物をする理由をお答えください。（自由記述）
・ChatGPT設問：ECサイトで買い物をする理由をお答えください（できるだけ具体的に。）

ECサイトで買い物をする理由はアンケートとChatGPT共に、「ポイント還元」「実店舗(販売店)」「商品」などのワードが多く挙げられており、「お得であること」「利便性」「使い勝手の良さ」などを重視されていることがわかる。一方で、アンケートでは「コロナ」などの時事ネタに関するワードがあげられているが、ChatGPTの回答では挙げられていない。

ECサイトで買い物をする理由

「配送」に関する満足度

・アンケート設問：あなたが最も多く利用するECサイトの「配送」に関する満足度を、項目別にお知らせください。（MTSA）
・ChatGPT設問：一般的に最も多く利用するECサイトの「配送」に関する満足度を、以下の項目別に順位付けしてお知らせください。

「配送」に関する項目別満足度ランキングでは、アンケートは、1位が「配送の正確さ」、2位が「配送スピード」、3位が「商品の到着状態の良さ」となっている。ChatGPTの回答では、1位が「商品の到着状態の良さ」2位が「配送料金の妥当性」3位が「追跡サービスの有無」となっているが、2位の「配送料金の妥当性」は、アンケートでは9位となっており、大きな順位の違いが見られた。

「配送」に関する満足度

「送料」に関する満足度

・アンケート設問：あなたが最も多く利用するECサイトの「送料」に関する満足度を、項目別にお知らせください。（MTSA）
・ChatGPT設問：一般的に最も多く利用するECサイトの「送料」に関する満足度を、以下の項目別に順位付けしてお知らせください。

「配送」に関する項目別満足度ランキングでは、アンケートは1位が「配送の正確さ」、2位が「配送スピード」、3位が「商品の到着状態の良さ」となっている。ChatGPTの回答では、1位が「商品の到着状態の良さ」、2位が「配送料金の妥当性」3位が「追跡サービスの有無」となっているが、2位の「配送料金の妥当性」は、アンケートでは9位となっており、大きな順位の違いが見られた。

「送料」に関する満足度

調査内容・調査概要

調査名	ChatGPTとアンケートの回答比較調査
調査対象者	1ヵ月に1回以上ECサイトで買い物をする20～50代男女
有効回答数	800サンプル
割付	性年代均等回収
調査期間	2022年4月11日～4月13日
調査方法	Webアンケート
調査機関	株式会社アスマーク
調査内容	・ECサイトで購入したことがあるもの（よく購入されるもの）・ECサイトで最も購入したことがあるもの（最もよく購入されるもの）・ECサイトで買い物をする理由・「配送」に関する満足度・「サポート対応」に関する満足度・「送料」に関する満足度・「商品」に関する満足度・「使用感」に関する満足度・「信頼性」に関する満足度
全ての調査結果	https://www.asmarq.co.jp/data/chatgpt-enquete/