ソフトバンク　自動運転車内に生成AIを活用、車内コンシェルジュAIにできること　実証実験と研究の詳細を公開

2023年11月14日 By ロボスタ編集部

従来の交通サービスでドライバーが担っていた車内業務は多様にあり、ドライバーは「運転業務」だけではなく、「運転以外の業務」として、ドアの開閉やシートベルト装着等の安全確認、空調や走行速度等の調節、乗客の体調不良等のトラブル対応などの業務を担っている。

自動運転サービス提供時には、「運転業務」は自動運転システム(ADS)が担うべくADSメーカー各社が凌ぎを削っているのに対して、「運転以外の業務」についてはADSほど十分な検討が進んでいない状況であり、自動運転社会においては、この「運転以外の業務」についても、従来ドライバーが行っていた細かな気配りと同等の対応ができなければ、サービスとして広く受け入れられないことが懸念されている。

ソフトバンクでは、自動運転技術の社会実装に向けた研究・開発として、自動運転運用プラットフォームを構築しており、この度、「生成AIを活用した車内コンシェルジュAIによるサービスの無人化」と「乗客の異常検知の自動化(東北大学との乗り物酔いの定量的判定に向けた研究)」について、初めて詳細を公開した。

生成AIを活用した車内コンシェルジュAIによるサービスの無人化

車内コンシェルジュAIは、乗客からの問いかけに応じて音声で回答を行ったり、自動運転サービスに係るアナウンス情報(目的地の天気、目的地への接近通知など)を音声で通知したりすることによって、車内サービスを無人化するだけではなく、従来の交通サービス以上により快適な乗車体験の提供を目指している。

車内コンシェルジュAIの開発

車内コンシェルジュAIは、乗客からのさまざまな問いかけに柔軟に対応できる必要がある。例えば、乗車中に目的地の変更を行いたい時には、車両の現在地データや交通状況を加味してルート変更を行い、ADSに反映して走行ルートを見直す必要があり、さらに、目的地周辺のイベント情報や混雑状況といった、従来のルールベースのロジックでは回答しづらい一般的な問い合わせを受けた際にも対応できることが望まれる。同社では、こういったさまざまな種類の問いかけに対応できるロジックを開発した。

車内コンシェルジュAIを活用した竹芝エリアにおける実証実験

乗客からのさまざまな問いかけに柔軟に対応し、サービスを無人化できるのかを検証するべく、2023年6月に竹芝エリア(東京都港区)において実証実験を行った。同実験では、車内に設置したタブレット端末を用いて乗客から問いかけがあった際に、車両データや生成AIなどと連携することによって、これらの問いかけに無人で対応できることを確認した。

実証実験における車内の様子

生成AIとの連携の様子

乗客の異常検知の自動化

（東北大学との乗り物酔いの定量的判定に向けた研究）
自動運転車の場合、車内にドライバーがいなくなることで乗客の状況がより分かりづらくなる。例えば身体に異常が起きた際も乗客から発信してもらわなければ気がつかず、万が一発信が遅れた場合は重症化するリスクがある。特に乗り物酔いは、老若男女問わず身近に起こる身体異常の症状であることから、今後自動運転車が普及していく中で事前の対策が必要と考えている同社は、車内で最も起こりやすい乗り物酔いを察知して重症化リスクを未然に防ぐことが、車内の安心・安全の確保につながると考え、東北大学が行っている乗り物酔い検知を共同で研究している。

同研究の内容

これまで身体の変化を検知する際は、人体にセンサーを取り付けて数値を測定し判別を行っていたが、東北大学の解析システムを用いることで、カメラの映像から取得した乗客の表情(気持ち悪さや嘔吐感)、顔色(顔面蒼白)、および脈波信号(自律神経指標等)に基づいて、身体の状態を自動的に検知することを目指す。同社と東北大学は、映像から取得した数値をベースに、その他の測定数値を補足情報としてかけ合わせることで、乗り物酔いを判別するための仕組み作りを進めており、実証実験を行っており、同実証実験では乗客に発車前と到着後にアンケートを実施し、体調の変化を確認して数値とひも付けることで、さらに定量的に乗り物酔いを判別しやすい仕組みの開発に活かしている。

研究から実現できたこと

車内のカメラ映像などのデータに基づくシステム解析と、乗車前後の身体変化のアンケート結果を参照することで、乗客が乗り物酔い症状になっているかをシステムによって判別可能なことが確認できた。また、カメラ映像を基に症状を定量的に判定するための数値の取得と、今後の自動化に必要な仕組みを作り上げることもできた。

今後の展望

同社は今後、検証回数を増やしていくことで、定量化と自動化に向けたより精緻な数値を取得するとともに、安定的に活用できる仕組みを構築していくとのことだ。また、今回の取り組みではカメラの他にさまざまな測定機材を使用しているが、この機材を簡略化し、将来的にはスマートフォンだけで乗り物酔いやその他の身体異常を簡単に判別できる身近なサービスを生み出すことを目指している。

■【動画】先端技術研究所が描く自動運転｜SoftBank R&D