ソフトバンクが自動運転向け「交通理解マルチモーダルAI」を開発 低遅延なエッジAIサーバーで動作
ソフトバンクは、自動運転車の運行業務の完全無人化を目指して、低遅延なエッジAI(人工知能)サーバーで動作する、自動運転の遠隔サポート向け「交通理解マルチモーダルAI」を開発した。「交通理解マルチモーダルAI」は、自動運転の社会実装における課題である、自動運転車の安全性の向上および運行コストの削減を車外からサポートする。
ソフトバンクのMEC(Multi-access Edge Computing)などのエッジAIサーバーで、マルチモーダルAIを低遅延かつセキュアにリアルタイムで稼働させることで、自動運転車の状況を即時に理解して自動運転を遠隔サポートすることができると考えているとのことだ。
ソフトバンクは、「交通理解マルチモーダルAI」を活用した自動運転の遠隔サポートソリューションの実証実験を、2024年10月に慶應義塾大学 湘南藤沢キャンパス(SFC)で開始。この実証実験では、自動運転車が予期せぬ事態に直面して走行が困難になった場合でもスムーズに走行を続けられるように、「交通理解マルチモーダルAI」が外部から自動運転をサポートできるかどうかを検証する。
「交通理解マルチモーダルAI」の特長
自動運転車の前方映像(ドライブレコーダー映像など)と、現在の交通状況を問うプロンプトを入力することで、複雑な走行状況やリスクを判断し、安全な走行を可能にするための推奨アクションを生成。汎用的なAI基盤モデルに、交通教本や交通法規などの日本の交通知識に加え、一般的な走行シーンや予測が困難な走行状況におけるリスクと対処方法を学習させている。
これにより、自動運転車を安全に走行させるために必要な幅広い知識を習得し、交通状況と走行リスクを高度に理解できるマルチモーダルAIを構築した。
自動運転の遠隔サポートソリューションの概要
このソリューションでは、自動運転車に搭載したカメラの映像を、5G(第5世代移動通信システム)ネットワークを通してリアルタイムでMECへ送信する。
MEC内のGPU(画像処理装置)で動作する「交通理解マルチモーダルAI」が、送信された映像などを基に自動運転車の走行中のリスクを即時に分析し、そのリスクと対処法をリアルタイムで言語化して、自動運転を遠隔サポートすることが可能。これにより、自動運転車がリスクを判断できない状況でも、「交通理解マルチモーダルAI」が遠隔サポートすることで、安全に走行を継続することが期待できる。
なお、現状では「交通理解マルチモーダルAI」が分析して言語化した情報を基に、遠隔監視者が自動運転車への指示を行うが、将来的にはマルチモーダルAIから自動運転車へ直接指示を行うことで、運行業務の完全無人化を目指すとしている。
実証実験の一例
SFCで実施している実証実験において、「横断歩道の手前に停車中の車両がある状況での走行」というシナリオで検証を行った。
このシナリオでは、左側に停車中の車両の陰から横断しようとする人物を見落とす可能性があり、自動運転車が横断歩道に差しかかった際に、死角から飛び出す歩行者と衝突するリスクがある。道路交通法では、信号機のない横断歩道を通過する際、横断歩道の手前に停車中の車両がある場合は、その前方に出る前に一時停止することが義務付けられている。
このケースでは、自動運転車が横断歩道の手前で「走行速度が速い」「一時停止の動作をしない」といった走行をしている場合、遠隔監視者が介入して事故を未然に防ぐ必要がある。しかし、遠隔監視者は複数の車両を同時に監視しているため、危険をすぐに察知できない、適切に介入できないといったリスクがある。そこで、「交通理解マルチモーダルAI」が、現在の「交通状況」「走行リスク」「リスク対処のための推奨動作」を生成し、自動運転車に指示を出すことで、外部から自動運転を遠隔サポートする。
今回の実証実験では、自動運転車が停車中の車両と横断歩道に接近してリスクが高まると、「横断歩道の手前に停車中の車両がある。歩行者が飛び出してくる可能性があるため、一時停止してください」と生成し、外部から自動運転を遠隔サポートできることを確認した。
この自動運転の遠隔サポートソリューションは、MONET Technologiesが実施する自動運転技術を用いた実証などで、試験的に利用されている。実際の走行環境で発生する、予測が困難な走行リスクと対処方法を継続的に学習することで、マルチモーダルAIの精度を向上させていく。
ソフトバンク執行役員 データ基盤戦略本部本部長 丹波廣寅 氏 コメント
ソフトバンクは、国内最大級のAI計算基盤の整備と国産大規模言語モデル(LLM)の開発を進めています。今回のソフトバンク独自の『交通理解マルチモーダルAI』の開発と、それを用いた自動運転の遠隔サポート向けソリューションの実証実験の成功によって、通信技術とAIの融合が社会課題を解決できる可能性を示すことができたと確信しています
ソフトバンクとHonda 数秒先の事故を予測してクルマに通知する実証実験に成功 コネクテッドカーとV2X、デジタルツイン活用
NTTとトヨタ自動車が「モビリティ×AI・通信」連携で合意 低遅延通信やモビリティAIを構築、交通事故ゼロ社会の実現に向けて
ティアフォーと松尾研究所が自動運転2.0に向けた「生成AI」開発プロジェクトを開始 自動運転レベル4実装に向けてオープンソースで公開予定
チューリングが自動運転向け生成世界モデル「テラ」を開発 約1500時間分のデータを学習に使用
クルマ同士が通信(V2V)して事故防止の時代へ ソフトバンクとスズキ、交差点右折時の事故低減等で5GやV2Xの有用性を確認
この記事を読んだ人におすすめ
- 【日本初】ドコモや神戸大学ら、「5Gワイド」の遠隔ロボット手術支援の実験に成功 若手医師を熟練医師が遠隔から支援
- ドコモの新開発「マルチプラットフォームクラウドレンダリング」NTTコムのMEC環境でスマホへの高精細な3D映像リアル配信に成功
- 実用化はNTTが2026年、ソフトバンク2027年以降、6G空飛ぶ基地局「HAPS」両社の特徴と実証実績を比較 衛星通信との違いを解説
- PayPayドーム内の通信基地局をソフトバンクが公開 立入禁止の基地局エリアを見学、ドーム球場の利点と課題 ミリ波の現状を聞く
- ソフトバンクがHAPSと地上基地局との周波数共用を実現 ヌルフォーミング技術実証に成功 電波の干渉を防ぎ電波を有効利用
- 遠く離れた家族や友人とも触れ合える感覚 リアルハプティクスで横浜と豊田を結ぶ力触覚クラウドを開発 モーションリブとトヨタ紡織
- ソフトバンクのHAPS向け超大型機体「Sunglider」成層圏飛行に成功 米国国防総省が実施した実証実験で
- NEC モバイル通信向け「高精度QoE予測技術」を開発 大規模言語モデル(LLM:生成AI)と映像認識AIも活用 自動運転やドローン飛行などに
- ソフトバンクとHonda 数秒先の事故を予測してクルマに通知する実証実験に成功 コネクテッドカーとV2X、デジタルツイン活用
- チューリングが自動運転向け生成世界モデル「テラ」を開発 約1500時間分のデータを学習に使用