「ロボット聴覚」で要救助者をドローンから素早く発見 風切音の騒音下でも人の声を聞き分け


東京工業大学の中臺一博特任教授、熊本大学の公文誠准教授、早稲田大学の奥乃博教授、鈴木太郎助教らは、ドローンに搭載したマイクを使って、要救助者の声などを検出して迅速な人命救助を支援できるシステムを開発したと発表し、2017年12月7日に東京工業大学で記者会見を行った。内閣府総合科学技術・イノベーション会議が主導する革新的研究開発推進プログラム(ImPACT)「タフ・ロボティクス・チャレンジ(TRC)」の一環として開発されたもの。


開発されたマイクロフォンアレイ

災害発生時、瓦礫のなかで埋もれて、どこに被災者がいるかわかりにくい状況や、夜間や暗所などカメラが使えない場所でも、72時間以内に救出することが重要とされている要救助者を素早く捜索できるようになることが期待されている。


ドローンの騒音下でも人の音声を検出できる技術

株式会社ホンダ・リサーチ・インスティチュート・ジャパンらが開発し、オープンソース化されている「ロボット聴覚」のソフトウェア『HARK(Honda Research Institute Japan Audition for Robots with Kyoto University、http://www.hark.jp)』を応用したマイクロホンアレイ技術を使用した。ドローン自身による風切音による激しい騒音下でも、音源の検出が可能になった。


要救助者の音声を検出、位置を3次元地図上に表示

また三次元音源位置推定と地図表示技術によって音源を操作者にもわかりやすく可視化するインターフェースを開発した。ドローンへの設置を容易にするためにケーブル1本でまとめて接続できる16個のマイクロホンからなる全天候型マイクロホンアレイを開発。雨天時でも捜索が可能になった。下記の動画で青い丸で示されるのが声を出した人の位置だ。

公開フィールドテストでのデモの様子

会見で、ImPACT「タフ・ロボティクス・チャレンジ」プログラムマネージャーの田所諭氏は「ロボットの課題はひよわな優等生であること」と述べ、タフなレスキューロボット開発の必要性を述べた。

ImPACTタフ・ロボティクス・チャレンジの成果まとめビデオ


ASIMOにも応用されているロボット聴覚「HARK」

東京工業大学 工学院システム制御系特任教授、株式会社ホンダ・リサーチ・インスティチュート・ジャパン プリンシパル・リサーチャの中臺一博氏

「ロボット聴覚」は、2000年に奥乃博教授、中臺一博特任教授が中心となって提唱した、日本発の研究領域。ロボットが自分自身に搭載された耳で、離れた音源の音を聞き取れるようになることを目指している。

「HARK」としてまとめられたのは2008年。音源到来方向を推定する音源定位、音を分離して抽出する音源分離、ロバストな音声認識技術の3つの機能を柱としている。これまでに12万ダウンロードされている。


HARK

複数話者の言葉を聞き分け、同時に11人が注文してもそれを聞き分けるデモに成功している。また、ホンダのヒューマノイド「ASIMO」にも、HARKを応用した技術が搭載されている。2014年にはロボットに関する最大の研究コミュニティであるIEEE Robotics and Automation Society(RAS)が「ロボット聴覚」を研究分野としてキーワード登録した。

2011年に行われた記者会見でのASIMOのデモ。3人の声を聴き分ける

東京工業大学工学院 システム制御系、株式会社ホンダ・リサーチ・インスティチュート・ジャパンの中臺一博特任教授は、「このような研究は世界でもあまり例がない、我々が世界のトップランナーだ」と述べた。



専用ボードを開発、USBケーブル一本で繋がる構成に

開発されたマイクロホンアレイ

マイクはシリアルにつながっていて、それぞれ少しずつズレた音が入力されてくる。その情報を手掛かりとして音源を定位・分離する。マイク数は今回のモデルは16個。ドローンが揺れても下面には最低でも12個のマイクが向くように配置されている。


技術のポイントは3つ

今回の発表の技術ポイントは3つ。ARMベースの専用処理ボードを開発し、組込み版HARKを搭載し、球形のマイクロホンアレイデバイスのなかに入れた。リアルタイム処理をローカルで行なってしまうのでデータ伝送量は従来の1/100以下になった。


HARK専用処理ボード

二つ目は確率的手法を導入して2次元の定位結果から三次元位置を推定できるようになった。ImPACT TRCで早稲田大学の鈴木太郎助教らが開発している高性能GPS研究の世界である高精度ポイントクラウドを地図データとして用いて、地図上に音源位置を可視化した。熊本大学の公文誠准教授によれば、「おおよそ人がどこにいるのかは突き止めることができる」という。


熊本大学 大学院先端科学研究部 工学系 公文誠准教授

3つ目はUSBケーブル一本で接続可能な耐水仕様としたこと。穴が空いているマイク部分を空気は通すが防水のフィルムで覆うことで、12時間の水没試験にもパスできるようになった。USBケーブルを刺せば使えるので、取り付け時のヒューマンエラーも避けられる。


マイク上に防水フィルムが貼られている

USBケーブル一本で繋がる
記者会見でのデモの様子

たとえば土管のなかに完全に閉じ込められた人の声でも聞き取ることができるという。ただし、うめき声くらいでは無理とのこと。田所氏は「汎用技術なので何にでも載せることができる。ドローンだけでなく自動車に載せることもできる。要救助者を探すのに非常に有効な技術だと考えている」と述べた。実際の現場では、時速10km程度で被災地上空を走査しながら飛行して、被災者を探すといった運用を考えているという。


内閣府ImPACT「タフ・ロボティクス・チャレンジ」プログラムマネージャー田所諭氏

以前は京都大学、いまは早稲田大学所属の奥乃博氏は、HARKの今後について、画像処理技術として広く使われているオープンソースのビジョンライブラリ「OpenCV」を例に出し、「聴覚技術でのOpenCVを目指す」と述べた。ユーザーは技術の詳細まで踏み込まなくても、HARKを使えばロボットが聴覚を持てるという世界の実現を目指すという。


早稲田大学理工学術院 奥乃博 教授


次回のImPACT TRC公開フィールド評価会は2018年6月18日ごろ

次回の公開フィールド評価会は2018年6月18日ごろを予定

ImPACT TRCでは年に2回、大規模なデモンストレーションとして、公開フィールド評価会を行なっている。次回は2018年6月18日ごろを予定としている。場所は福島県南相馬市に建設中の「福島ロボットテストフィールド」。

ABOUT THE AUTHOR / 

森山 和道

フリーランスのサイエンスライター。1970年生。愛媛県宇和島市出身。1993年に広島大学理学部地質学科卒業。同年、NHKにディレクターとして入局。教育番組、芸能系生放送番組、ポップな科学番組等の制作に従事する。1997年8月末日退職。フリーライターになる。現在、科学技術分野全般を対象に取材執筆を行う。特に脳科学、ロボティクス、インターフェースデザイン分野。研究者インタビューを得意とする。WEB:http://moriyama.com/ Twitter:https://twitter.com/kmoriyama 著書:ロボットパークは大さわぎ! (学研まんが科学ふしぎクエスト)が好評発売中!