オムロンが自然言語指示のロボット制御で京都大・東工大・奈良先端大と連携

オムロン サイニックエックス(以下、OSX)は京都大学、東京工業大学、奈良先端科学技術大学院大学と共同で、自然言語指示(日常的に書いたり話したりしている日本語や英語のような自然な言語)によるロボット制御によって、ロボットの多様な作業を可能にする研究プロジェクトを開始したことを発表した。

同プロジェクトでは言葉による指示によってロボットが作業に必要な動作の一覧を生成するアルゴリズム開発と、生成された動作を人と身体性が異なるロボットの動作に自動で変換しロボットを制御する技術の構築を目指す。同研究を通じて、OSXは人と機械が対話し、パートナーのような関係性を築くことで、人がより創造的な活動をおこなうことができる「人と機械が融和」した世界の実現を目指す。


共同研究プロジェクトの背景

近年、さまざまな業種・業態において労働力不足が社会的課題となっており、ロボットを使って人の作業を代替する取り組みが盛んに行われている。こうした中、人からの言葉の指示によってロボットに作業を代替させる技術は、ロボット制御に関する専門知識を必要とせず、ユーザーが話しかけるだけでロボットに作業の内容を伝えることができる技術として期待が高まっている。

他方、現在実現されているシステムの多くは、箱の中から指示した物を掴み移動させるといった特定のシーンにおけるロボット制御にとどまっている。様々なシーンでロボットに作業を代替させるためには、作業の目的からそれに必要となる動作の一覧を生成でき、それに基づいてロボットを簡単に制御できるアルゴリズムが必要。

これらの課題に対して、人からの自然言語指示で様々なシーンにおいてロボットを制御するアルゴリズムの研究開発を、OSXと京都大学、東京工業大学、奈良先端科学技術大学院大学による共同研究プロジェクトとして取り組む。

従来の言語指示、プロジェクトで目指す状態


共同研究プロジェクトの詳細

自然言語指示によるロボット制御研究の多くは、「モノを掴む」や「部屋を移動する」といった単純な動作にとどまっている。そこで、同プロジェクトでは、作業工程の写真や、実際に人間が作業している動画をもとに、機械学習によって自然言語指示と動作環境の情報から、「初期状態」を「指示内容を実行した後の状態」にするという動作の“意図”を形成し、作業に必要となる動作を生成するアルゴリズム開発を行う。

また、生成された動作は学習データとしている人の動作に基づいているため、ロボットでその動作を実現するためには、人とロボットの身体性の違いを考慮し、ロボットに合わせた制御方法を実現する必要がある。そこで、人とロボットの身体性の違いによる影響を解決するために、「道具の使い方」に着目する。「道具の使い方」は人もロボットも同じはずという前提のもと、人が行う複数の作業動画における道具を使っているシーンから学習し、例えばニンジンの皮を剥く際のニンジンへのピーラーの当て方といった、道具の使い方や力加減を真似することでロボットアームの動作モデルの生成を目指す。

これらの研究を進めることで、人がロボットに言葉で指示をするだけでロボットが自動的に取るべき動作を理解し、道具を使いながら作業を遂行できるようになり、ロボットの社会的意義をこれまで以上に高められる可能性がある。さらにこれらの機能の社会実装を通じて新たな課題発見への期待も見込まれる。取組期間は2021年から2023年までの3年間。

【各機関の役割】

オムロン サイニックエックス 研究プロジェクトの代表者(研究統括)
各機関における研究成果に基づく統合的なシステム開発の主担当
画像や触覚に基づいたロボット制御信号の生成の主担当
各共同研究機関が主として担当する課題の副担当
京都大学大学院情報学研究科 言語指示からの、実行すべき動作系列の生成の主担当
東京工業大学 情報理工学院 情報工学系 画像や触覚に基づいた動作記述を獲得する研究・開発の主担当
奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域 動作系列を入力としたロボット制御信号の生成に関する研究・開発の主担当



オムロン サイニックエックス株式会社について

オムロン サイニックエックス株式会社はオムロンの考える”近未来デザイン”を創出する戦略拠点。「AI」「ロボティクス」「IoT」「センシング」など、幅広い領域の最先端技術のトップ人財が研究員として在籍し、社会的課題を解決するために、技術革新をベースに「ビジネスモデル」「技術戦略」「知財戦略」を統合し具体的な事業アーキテクチャに落とし込んだ”近未来デザイン”を創り出する。また、大学や社外研究機関との共同研究を通じて「近未来デザイン」の創出を加速していく。

ABOUT THE AUTHOR / 

山田 航也
山田 航也

横浜出身の1998年生まれ。現在はロボットスタートでアルバイトをしながらプログラムを学んでいる。好きなロボットは、AnkiやCOZMO、Sotaなどのコミュニケーションロボット。

PR

連載・コラム