自律式の果実収穫AIロボットのプロトタイプを発表 人とほぼ同じ速さでリンゴなど果実を収穫 農研機構/デンソー/立命館が開発

国立研究開発法人 農業・食品産業技術総合研究機構(農研機構)、立命館大学、株式会社デンソーは、リンゴやナシなどの果実9品目に対応した、自動走行車両付き収穫ロボットのプロトタイプを発表した。


約80cmから2m程度の高さになる果実を自動的に判別して収穫する。ディープラーニングを活用して認識率は95%程度を実現。2年後の商品化を目指す。人とほぼ同じ速さで収穫できる。人による収穫作業は1個あたり11秒として、1分間に5個、1時間あたり約300個を目安に算出した。

V字樹形のニホンナシを収穫中の収穫ロボットプロトタイプ


自動運転車が収穫ロボットとコンテナを牽引

今回発表したロボットはV字樹形で植栽されたリンゴ、ニホンナシ、セイヨウナシを対象としたモデル。立命館大学が果実認識や収穫時期判定などを判別するソフトウェア開発を担当、デンソーが収穫ロボットのハードウェア開発を担当した。
ハードウェアの大きな特徴としては、前部にヤマハ発動機の電動ゴルフカートを改造した「自動運転車」、後部に「収穫用のロボットアームと収穫した果実を収容するコンテナシステム」で構成されている。


前部の自動運転車には一般の自動運転技術やセンサー等を活用して実現した。自動運転車と無人薬剤散布、柴刈り等を組み合わせて利用することもできるという。


また、産業用ロボットをベースに開発されたロボットアームが2基搭載され、カメラがロボットアームごとに2基ずつ(RGB-D)組まれている。これで果実の判別や、収穫の適期かどうかの判別を行ったり、2基のアームがぶつからないような制御にも利用される。


具体的には、まず進行方向側のカメラで収穫するべき果実を探す。果実を見つけると自動運転車両へ停止指令を送って停車する。


ロボットに搭載した4台のカメラそれぞれで果実をディープラーニングを用いて認識して判別する。RGB-Dカメラで距離を測ってロボットから対象までの距離を取得する。


果実は、日焼けによる色の変化が少なく、熟度の進行による色の変化のみを観測しやすい「ていあ部」(果実の底の凹み)を判別に使用することもできる。



収穫した果実は果実収納コンテナシステムに送られる。コンテナが果実で一杯になると、空のコンテナと自動で交換しながら自動収穫を継続することができる。



■動画 果実収穫ロボット(プロトタイプ)


高齢化が進む果樹生産業、ICTの活用が急務

報道関係者向け発表会は12月22日にオンラインで実施された。農研機構からは草塲新之助氏、立命館大学からは深尾隆則氏、デンソーからは⻄野秀幸氏が登壇し、プレゼンテーションと記者からの質疑応答に対応した。

現在、日本の果樹生産者の年齢構成は60歳代が最多となっており、今後さらなる高齢化が危惧されているという。このような状況を打破するためには、少ない人手で産地を維持できる画期的な省力生産技術、また、若い生産者の関心を引く魅力ある果樹生産技術の開発がソリューションとして必要不可欠だ。

農研機構果樹茶業研究部⾨ ⽣産・流通研究領域⻑ 草塲 新之助氏

しかし、それらの作業の機械化が有効ですはあるものの、果樹は樹形が立体的(3次元)で複雑なため、受粉、摘果、収穫、整枝・せん定など多くの作業が手作業に頼らざるを得ないことから、機械化が非常に遅れているのが現状だという。
そこで、自動車の自動走行や各種ロボット、AI技術の開発と低価格化など関連技術の進歩が著しいこと、果実収穫といった複雑な作業においてもこれらの革新的技術を取り込んだ機械開発の可能性が見えてきたことなどから、今回の自動走行&収穫ロボットの開発が加速した。特に自動走行については公道での自動運転に携われるデンソーの技術と部品は、自動運転関連の生産が本格化した後は価格が大きく下がることが期待できる、とした(深尾氏)。

⽴命館⼤学 総合科学技術研究機構 客員教授 深尾隆則氏

農研機構が代表を務める「革新的技術開発・緊急展開事業(人工知能未来農業創造プロジェクト:AI プロ)」は、機械化を推進するために「樹種共通で、樹形を可能な限り平面(2次元)に近づける V字樹形などの列状密植樹形の開発(果樹側からの機械化への歩み寄り)」「本樹形を前提に様々な作業に利用できる自動走行車両、自動薬剤散布システム、自動草刈りシステム」さらに「リンゴ、ニホンナシ、セイヨウナシの収穫ロボットの開発を両輪として研究を進めてきた。

株式会社デンソー FA 事業部 FA 開発室 AgTech 開発課 課⻑ ⻄野秀幸氏

収穫用ロボットハンドで果実を収穫するためには、1)果実の認識、2)その果実が収穫可能かどうか判断、3)果実の着果位置の把握、を経て、ロボットハンドを正確に果実の位置まで駆動させる必要がある。果実の認識および熟度判定については、可視画像撮影と距離計測が可能な RGB-D カメラによる可視画像を用いた人工知能手法(ディープラーニング)を活用した。その結果、果実認識およびニホンナシの熟度判断について日中、夜間に関わらず 90%以上の精度が得られた。

カメラが判別する実際の映像。□は認識に成功した果実。青と赤の◎は、ていあ部(果頂部、果実の尻の窪んだ部分)の果皮色から収穫適期を判断するためのていあ部の認識。Cam1~Cam4 の画像は、収穫ロボットに取り付けられた4台のカメラが同時に撮影したそれぞれの画像。1 つの画像中の果実の番号は、1 つのカメラが認識した果実の通し番号。(提供:立命館大学)

また、果実の着果位置の把握については RGB-Dカメラにより距離計測を行う。さらに収穫ロボットの開発目標である収穫スピードを人と同程度(11秒/個)以上とするため、収穫アームを2本とし、2アームのマニピュレータ・ハンドシステムが互いの軌道を理解し、アーム同士が接触しないように軌道計画を行うアルゴリズムを構築しました。これにより、人とほぼ同程度のスピードでの果実収穫が可能となったという。

また、収穫ロボットは自動走行車両にけん引されながら果実収穫を実施するため、収穫が終了した場所から次に収穫する果実が着果している場所まで移動する必要がある。
この移動については、自動収穫ロボットに取り付けたカメラ画像・距離画像から次に収穫する枝の果実を認識し、車両の移動量を指示することにより車両が自動移動し、樹冠下の最適な位置から自動収穫を行うシステムを開発した。

今回のプロジェクトの概要図




今後の予定・期待

今回、開発を発表した収穫ロボットはプロトタイプ。市販化に向けては現地実証試験などを繰り返すことで安定性や正確性をさらに向上させるとともに、ロボットを安全に利用できる仕組み作りも必要だ。製品化には2年近くかかると見込んでいる。ただ、収穫物の自動積み下ろし機能など、周辺技術の開発が進めば、より一層便利に活用できる可能性も広がっている。
農業の自動化、スマート農業の実現に自動収穫ロボットの発表が弾みになることを期待したい。

ABOUT THE AUTHOR / 

神崎 洋治

神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。

PR

連載・コラム