実機なくてもリアル現場にMR仮想ロボットを瞬時に設置し稼働確認　導入を効率化する「RoboLens」デモを公開　ネクストスケープ

2023年7月18日 By ロボスタ編集部

ネクストスケープが開発した、協働ロボットを誰でも簡単に3D操作でき、Mixed Reality技術(MR)を活用してロボットの導入を支援する「RoboLens®」(ロボレンズ)が、ユニバーサルロボットの周辺機器プラットフォーム「UR+」製品として認証を受けた。

「RoboLens」は「Microsoft HoloLens 2」を使ったMR技術で、仮想空間でロボットの作業をシミュレートできる。ロボットサプライヤーや代理店、SIerを含め、エンドユーザーのロボット導入を効率的にすすめられるソリューションとなっている。

「RoboLens」は「Microsoft HoloLens 2」を装着し、MR技術で協働ロボットを仮想的にその場に表示して、操作したり配置の確認・調整が可能なソリューション

「HoloLens 2」を通して、操作者が見ている景色。デスクのQRコードの上に、MR技術で生成された仮想の協働ロボットUR10eの3Dモデルが表示されている

「RoboLens Layout」と「RoboLens Teaching」

「RoboLens」は、人とロボットのコミュニケーションインターフェースとしてMRデバイスを活用するソリューション。「RoboLens」が提供する機能は大きくわけて「RoboLens® Layout」(レイアウト)と「RoboLens® Teaching」(ティーチング)という2つの先進機能を備えている。

「RoboLens Layout」はロボットを導入を検討する際に「提案」や「企画・検証」に活用し、「設計・開発」や「導入」時の確認を容易に行うことができるソリューションだ。ロボットの実機がない状態で現場のロボット導入をMR技術で検証・確認できる(2023年7月18日(火)にβ版リリース)。

一方、「RoboLens Teaching」はティーチング支援ソリューションで、既に販売中。協働ロボットのティーチング作業を、誰でも直感的に作業できるMRアプリケーションとなっている。「設計・開発」「導入時」に活用できる。今回、新機能をさらに追加してアップデートが行われた。

2023年5月に発売した「RoboLens Teaching」。MR技術を使い、ゲームのようなインターフェースで楽しくティーチング作業できることが最大の特長のひとつ

ロボスタでは早速独自取材を行い、この興味深い「RoboLens Layout」と「RoboLens Teaching」の新機能のデモを見せてもらうとともに、各ソリューションについての詳細について同社の高木氏と道下氏に話を聞いた。

「RoboLens Layout」と「RoboLens Teaching」のデモを担当し、機能を解説してくれた株式会社ネクストスケープシステムインテグレーション事業本部デバイスソリューション部 RoboLensプロジェクトマネージャーの高木亨氏(左)と、同事業本部デバイスソリューション部道下雄斗氏

なお、「ネクストスケープ」は以前より Microsoft Azureパートナー企業として8度もアワードを受賞、2021～2022年はMR関連アワードの受賞実績もあり、その技術力は高く評価されている。

MR仮想ロボットを現場に設置して操作「RoboLens Layout」

「RoboLens Layout」はMR技術を使って実際の現場にロボットを仮想的に配置し、動作させることができるソリューションだ。
通常、協働ロボットの導入を具体的に検討する段階になると、まずは現場にロボットの実機を持ち込み、運用する環境を想定してロボットを実際に設置する場所を確保したり、ロボットの大きさや動作、可動範囲等を確認する必要がある。また、ラインの切り換えを行う現場では、レイアウトの変更に伴って、稼働範囲の確認や設置して動作確認も必要となってくる。「RoboLens Layout」はこの一連の作業を、MR技術を活用して「HoloLens 2」を通して現場に各種ロボットを仮想的に配置、動作やティーチングを現地で高精度にシミュレーションできる。

実際のデスク上にはロボットは置かれていないが・・

「HoloLens 2」を通して見ると、デスク上に協働ロボットが設置され、実物と同じように動かすことができる

■ RoboLens® Layout Demo

ロボットの導入を提案する側、代理店やSIerにとっては、提案時に実物のロボットを現場に持ち込む必要がなく、「HoloLens 2」1台だけで、現場の設置や動作のイメージ検証を行えるので効率的だ。また、導入を検討している顧客も実際に3DのMR上で現場にロボットを配置することで、具体的な導入イメージを体感することができる。

稼働可能な範囲が適切ではなかったので、ロボットを設定する位置を、当初のQRコードの位置から右に数10cm移動させて設置する

MRの仮想空間ならロボットの移動も指で指示をするだけで設置位置を移動できる

ロボットの導入を提案する際、現場を測量し、パソコンの3Dシミュレーションソフト上で仮想空間に現場を忠実に再現した上で、仮想ロボットを配置して検証したりする方法もあるが、数10万円規模のコストが最低でもかかる。
「RoboLens Layout」は、実際の現場の空間に仮想ロボットを重ねることができるため、提案時の3Dシミュレーションも不要となり、大幅なコストと時間の削減も期待できる。なお、現状ではUR製のeシリーズ全機種に対応している(UR3e、UR5e、UR10e、UR16eに対応、今後はUR20にも対応予定)。

配置検証機能

サイズが大きいロボットを導入する際には、周囲とのクリアランスを確認したり、場合によっては現場の改修工事が必要となるケースがあるが、それら事前確認もMR上で手軽に確認が可能となる。

動作検証機能

「RoboLens Teaching」と同じ機能を用いて仮想ロボットをMR空間でティーチングし、実物と同じように3Dロボットを動作させることができる。仮想ロボットの配置は、物理的に印刷されたQRコードを基準点として置くことで、ロボット実機の設置をサポートするガイド表示を行うことができる。

直感的で楽しいティーチングを実現する「RoboLens Teaching」

産業用ロボットや協働ロボットを導入する際には、ロボットに動作を教える「ティーチング」作業が必要となる。ティーチングは通常、「ティーチングペンダント」と呼ばれるコントローラで行なったり、ロボットを直接手で移動させて動きを覚えさせる「ダイレクトティーチング」という手法が一般的だ。「RoboLens Teaching」は「HoloLens 2」のMR技術を使って、ハンドジェスチャーやハンドサインでロボットにティーチングを行うことができるユニークなソリューションだ。

「RoboLens Teaching」のグッドサインのジェスチャーによるショートカット機能のデモ。

グッドサインを出してロボットの移動点を指定すると、以前に指定した位置にスナップさせることができる(ジェスチャーによるショートカット機能の一部)

「HoloLens 2」を使って、3次元空間でロボットに動作を指示することができるため直感的な操作が可能で、操作に慣れてしまえば、長くても1時間程度でティーチング作業ができるようになる。なにより、ゲームのようなインターフェースと感覚で楽しく作業できる点が面白い。

今回、新機能として加わった「ロボットにmm単位の細かな動きを指示」「円弧移動を指示」「安全機能の追加」のデモを見せてもらった。

■ RoboLens® Teaching 新機能 Demo

プロジェクトマネージャーに聞く

プロジェクトマネージャーの高木氏に「RoboLens」のコンセプトや導入効果、メリットについて聞いた。

「製造業においてデジタルツインとメタバースを組み合わせて、MRで廉価なソリューションを創りたい」高木亨氏

編集部

「RoboLens」の基本的なコンセプトを改めて教えて頂けますか?

高木氏

製造業の現場では現実世界のデータを収集して、仮想空間上で現実の現場と同じ環境を生成する「デジタルツイン」が進められはじめています。一方で、MR業界では人がアバターとなって仮想空間に入り、コミュニケーションや作業を行う「メタバース」が注目されています。

「RoboLens」は製造業において、時間やコストがかかる「デジタルツイン」をMR技術を活用してリアルの現場で実現することで、ロボット導入時に時間やコストがかかる業務を効率化します。
また、「メタバース」を組み合わせることで、仮想空間の中で人が自由にロボットのレイアウトやライン変更時の配置転換、ティーチング、動作確認などを簡単に楽しく行えるようにしたい、というのがコンセプトです。

「RoboLens Layout」のメリット

編集部

それで「RoboLens Layout」は、ロボット導入時にリアルの現場に、仮想のロボットを配置して動作を確認するという発想から生まれたのですね

高木氏

現状は、工場や倉庫など実際の現場にロボットの実物を持ち込んで検証しています。これは時間もコストもかかる作業です。また、ラインが稼働している最中に、ラインを止めてロボットの動作検証を行うことも現実的には難しい、というケースもあります。3Dシミュレータを用いてデジタルツイン環境を生成する方法もありますが、それもある程度のコストを見込まないといけません。
「RoboLens Layout」であれば、すでに稼働している機器やラインに影響を一切与えずに検証することができ、そのデータを開発にフィードバックすることができます。

■ RoboLens Layoutのご紹介

「RoboLens Teaching」ロボットにmm単位の動きを指示、円弧移動も簡単に

編集部

次に「RoboLens Teaching」について伺います。「RoboLens Teaching」の画期的な機能は以前にもデモを見せていただきました。「RoboLens Teaching」はハンドジェスチャーでロボットに動きを指示するので、一見すると直線的な動きや、mm単位の細かな動きをロボットに指示することが難しいのではないでしょうか。

高木氏

いいえ。むしろ「RoboLens Teaching」が得意とする点です。まず、AからB地点までTCP(ロボットハンドの先端)を移動させる際、ハンドジェスチャーが震えたりブレたとしても、それをロボットが正確に直線としてみなすモードを用意しています。また、人間の手の動きを縮小してロボットの動きに適用させるモードもあります。例えば、人間の手を10cm動かすとロボットの手が0.1mm動く設定ができる機能です。これを使うと、mm単位などの細かな操作や指示も可能になります。

ロボットにmm単位で動く設定を行っている高木氏

高木氏の手は20cm程度動かしているが、10mmが1mmに縮小(A)されて伝わっているため、ロボットのハンドは2cm(20mm)だけ動く(B)。0.1mm単位で指定することもできる

高木氏

また、AからB地点までTCPを移動する際、正確な弧軌道を描くように移動させるのは従来、困難な操作のひとつでした。今回「RoboLens Teaching」の新機能として、円弧の軌跡を自動的に簡単に空間上に描くモードを用意しました。初心者でも簡単に円弧移動を行うことができる様になりました。

■RoboLens ウェイポイント・軌跡の表示

安全機能を強化し、安全性が大きく向上

編集部

今回、安全機能が強化されたと聞きました。

高木氏

はい。ひとつは「ホールドトゥラン」機能です。安全性を確保するために、一般的にティーチング作業中にロボットを動作させる際は、ユーザが許可している間のみ動作させる安全規則が設けられています。産業用ロボットではティーチペンダントに物理的なイネーブルスイッチを搭載する義務があります。URのような協働ロボットでは、ペンダント上のソフトウェアボタンを押している間のみロボットが動作する、という仕様で実現されています。「RoboLens Teaching」では、物理的なボタンは使用できないため、ピースサインのジェスチャーを出している間のみ、ロボットを動作させることで安全制御を行っています。

操作者がピースのハンドサインを出している時のみ、ロボットが動作する安全機能

突発的な事象が発生しそうな時はピースサインを解除すれば、直ちにロボットは停止する

■RoboLens 安全制御

高木氏

もうひとつは「安全減速停止」機能です。「RoboLens Teaching」では、ロボットと「HoloLens 2」(人)の距離を常に計測していて、ロボットの可動範囲付近に「HoloLens 2」(人)が近づくと自動的にロボットを減速させ、可動範囲内に人が侵入すると自動的にロボットを停止させる安全制御機能も搭載しています。

ロボスタの記事がきっかけでUR社と協業関係を構築

高木氏

当社は、「HoloLens 2」をはじめとして、MRアプリケーションの開発技術は以前から持っていましたが、ロボットに関する知識や実践のノウハウはほとんどない状態からスタートしました。業界では、当社の知名度はありませんでしたが、ロボスタに掲載された当社記事がきっかけで、ユニバーサルロボット社との協業関係が構築できました。また、UR社などロボットのメーカー、代理店、SIer、ロボットのユーザなど、各種業界関係社の方々に徹底的にヒアリングをさせて頂き、業界知識やロボット制御に関する知識を習得しながら「RoboLens」を開発してきました。

MR技術を利用してロボットを制御するソリューションの事例もないので、どのようなユーザインタフェースや機能があれば、操作しやすく、安全で、効率的かなど、ゼロベースで検討しました。ベータ版や製品版をリリースした後もUI/UXのブラッシュアップを重ね、より直感的な操作、より便利で使いやすい機能の追加を行っています。今後もお客様からのフィードバックをもとに継続的な改善を行っていく予定ですので、ぜひご試用になっていただき、ご意見を頂ければ幸いです。