NVIDIA Jetsonロボティクス・プラットフォームが生成AIに対応　エッジ環境やロボティクスでの生成AIの活用と効果、事例を紹介

2023年10月19日 By ロボスタ編集部

NVIDIAの発表によれば、現在「NVIDIA Jetsonプラットフォーム」を活用している企業は10,000社を超えるという。それらの企業に向けて、新しい生成AI、API、マイクロサービスを提供することを発表した。産業のデジタル化の加速を推進したい考えだ。

強力な生成AIモデルとクラウドネイティブ API、マイクロサービスをエッジで活用

「Transformerモデル」や「大規模言語モデル」(LLM)を含む「生成系AI」は、イラストや写真、動画をAIが生成したり、対話式で質問を回答したり、既に事実上あらゆる産業に大きな影響と衝撃をもたらしている。
一般分野でもその範囲は、欠陥検出、リアルタイム資産追跡、自律的計画とナビゲーション、人間とロボットの相互作用など、エッジAI、ロボティクス、物流システムに関わる分野に及ぶ。今回はNVIDIAが提供を発表した各プラットフォームでの生成AI技術を紹介しよう。

Isaac ROSとJetson上のMetropolisを拡張

NVIDIA は10月19日、エッジAIとロボティクスのための NVIDIA Jetsonプラットフォーム上の2つのフレームワークの大幅な拡張を発表した。「NVIDIA Isaac ROSロボティクスフレームワーク」の一般提供が開始され、Jetson上のNVIDIA Metropolisの拡張が予定されている。

「Jetson 生成 AI Lab」を作成

エッジ環境でのAIアプリケーションの開発と展開を加速するために、NVIDIAは開発者が最新のオープンソースの生成AIモデルを使用できる「Jetson 生成 AI Lab」も作成した。

120万人以上の開発者と Amazon Web Services、Cisco、John Deere、Medtronic、PepsiCo、Siemens など総計10,000社以上のユーザーが、NVIDIA AIとJetsonプラットフォームを採用している。

急速に進化する AI がますます複雑化するシナリオに対応する中、開発者はエッジ向けの AIアプリケーションを構築するための開発サイクルの長期化に直面している。変化する環境、製造ライン、顧客の自動化ニーズに対応するために、ロボットやAIシステムをその場でプログラミングし直すには、専門的なスキルが必要で時間がかかってしまう。

生成AIは、ゼロショット学習 (モデルがトレーニング中に見られなかったものを認識する能力) を提供し、自然言語インターフェースを通じてエッジでの AIの開発、展開、管理を簡素化する。

「AIの未来を変革 (トランスフォーム)する」(NVIDIA)

生成AIは、人間の言語を使用してモデルに指示したり、モデルを変更したりすることで、使いやすさを劇的に改善している。それらのAIモデルは、検出、セグメンテーション、追跡、検索、さらには手軽に何でも再プログラミングすることにおいて、より高い柔軟性を持っている。これらの特性は、従来の畳み込みニューラルネットワークベースのモデルを凌駕する。

ABI Research によると、生成AIは2033年までに世界の製造業に105億ドルの収益をもたらすと予想している。

NVIDIAの組み込みおよびエッジコンピューティング担当バイスプレジデントのディープゥタッラ氏(Deepu Tall) は、次のように述べている。

NVIDIA タッラ氏

生成AIは、以前には考えられなかった、より高い汎用性、使いやすさ、および精度で、エッジでのAIの展開を大幅に加速させるでしょう。JetsonにおけるNVIDIAのMetropolis フレームワークとIsaacフレームワークの過去最大規模のソフトウェア拡張は、Transformerモデルと生成AIのパワーと組み合わさせて、このニーズに対応します

Generative AI Models at the Edge Powered by NVIDIA Jetson Orin

エッジにおける生成 AIの開発

NVIDIA Jetson生成 AI Labは、オープンソースのLLM、画像をインタラクティブに生成する拡散モデル、ビジョンAIと自然言語処理を組み合わせてシーンの包括的な理解を提供するビジョン言語モデル(VLM)とVision Transformer(ViT)を展開するための最適化されたツールとチュートリアルへのアクセスを開発者に提供するとしている。

開発者は「NVIDIA TAO Toolkit」(効率的な転移学習ツール)を使用して、エッジ用の効率的で正確なAIモデルを作成することもでき。TAO は、ViT やビジョン基盤モデルを含むビジョン AI モデルをファインチューニングし、最適化するためのローコードインターフェースを提供する。また、NVIDIA NV-DINOv2 のような基盤モデルや OpenCLIP のような公開モデルをカスタマイズし、ファインチューニングすることで、非常に少ないデータで高精度なビジョン AI モデルを作成することができる。TAO ではさらに、欠陥検査用の新しい Transformer ベースのモデルである VisualChangeNet も利用可能となった。

新しい Metropolis と Isaac フレームワークを活用

NVIDIA Metropolisは、企業が重要な業務効率と安全性の問題を改善するための世界クラスのビジョン AI 対応ソリューションを採用することを、より簡単でコスト効率の高いものにする。このプラットフォームは、開発者が複雑なビジョンベースのアプリケーションを迅速に開発できるように、強力なAPI(アプリケーション・プログラミング・インターフェース)とマイクロサービスのコレクションを提供する。

BMW、ペプシ、シーメンスなどがMetropolis開発者ツールを使用

BMW Group、PepsiCo、Kroger、Tyson Foods、Infosys、Siemens など1,000社以上の企業が、NVIDIA Metropolis開発者ツールを使用し、ビジョン AIにてIoT、センサー処理、および運用上の課題を解決しており、その採用率は急速に高まっている。このツールは、ビジョン AI アプリケーションの構築を目指す人々によって、現在100万回以上ダウンロードされているという。

開発者がスケーラブルなビジョン AI アプリケーションを迅速に構築、展開できるよう、NVIDIA Jetson 上の Metropolis API とマイクロサービスの拡張セットは年内に利用可能になる予定だ。

Build Complex Vision AI Applications Faster with NVIDIA Metropolis APIs and Microservices

Isaacとロボティクス開発

数百かのユーザが NVIDIA Isaac プラットフォームを使用して、農業、倉庫自動化、ラストマイル配送、サービス・ロボティクスなど、多様な領域にわたる高性能なロボティクスソリューションを開発している。

「ROSCon 2023」において、NVIDIAは Isaac ROSとIsaac Simソフトウェアの新しいリリースにより、認識とシミュレーション機能の大幅な向上を発表した。広く採用されているオープンソースのロボット・オペレーティング・システム (ROS) 上に構築されたIsaac ROSは、オートメーションに認識をもたらし、移動ロボットに視覚(目)と聴覚(耳)を装備することを可能にする。
ビジュアルオドメトリ、奥行き認識、3D シーン再構築、ローカライゼーション、プランニングを含む GPU アクセラレーテッド GEM のパワーを活用することで、ロボティクスの開発者は、多様なアプリケーションに合わせたロボティクス・ソリューションを迅速に設計するためのツールを得ることができる。

Isaac ROS は、最新の Isaac ROS 2.0 リリースで本稼働可能な状態になり、開発者は Jetson で高性能なロボティクス・ソリューションを開発し、市場に投入できるようになる、としている。

Open Source Robotics Foundation の CTO である Geoff Biggs 氏は次のように述べている。

Open Source Robotics Foundation

ROS は、ロボティクスコミュニティ全体にオープンソースソフトウェアを提供するために、成長と進化を続けています。NVIDIA の新しいビルド済みの ROS 2 パッケージは、このリリースとともに公開され、広範に NVIDIA Jetson 開発者コミュニティが ROS 2 を容易に利用できるようにすることで、その成長を加速させるでしょう

新たなリファレンス AI ワークフローの提供

本稼働可能な AIソリューションの開発には、特定のユースケースに合わせて AIモデルの開発とトレーニングの最適化、プラットフォームへの強固なセキュリティ機能の実装、アプリケーションのオーケストレーション、フリート管理、シームレスなエッジツークラウド通信の確立などが必要といわれる。

NVIDIA は、Metropolisおよび Isaacフレームワークをベースとした AIリファレンスワークフローの厳選されたコレクションを発表した。これにより、開発者はワークフロー全体を迅速に採用したり、これらのワークフローから個々のコンポーネントを厳選して統合したりすることができ、その結果、開発時間とコストの両方を大幅に削減することができる。3つの異なるAIワークフローには、ネットワーク・ビデオ録画(NVR)、自動光学検査 (AOI)、自律移動ロボット(AMR)がある。

Tirias Researchの主席アナリスト Jim McGregor 氏は次のように述べている。

Tirias Research

広範で多様なユーザーベースとパートナーエコシステムを持つ NVIDIA Jetson は、エッジにおけるロボティクスと AI の革命を後押ししてきました。アプリケーションの要件がますます複雑になるにつれて、エッジ展開の作成を簡素化し、加速するプラットフォームへの基本的な移行が必要です。NVIDIA によるこの重要なソフトウェア拡張により、開発者は新しいマルチセンサーモデルと生成 AI 機能にアクセスできるようになります

今後も続々と登場

NVIDIA は、エッジAIソリューションを構築する際に開発者が必要とする基本的な機能であるシステム・サービスのコレクションを発表した。これらのサービスは、開発者のワークフローへの統合を簡素化し、それらを一から構築する困難な作業から解放する、としている。

新しいNVIDIA JetPack 6は、年末までに利用可能になる予定。AI開発者が Jetson Linux を全面的にアップグレードすることなくコンピューティングの最先端を維持できるようにする。これにより、開発スケジュールを大幅に短縮し、Jetson Linuxの要件から解放する考えだ。

JetPack 6はまた、Linuxディストリビューション・パートナーとの協力関係を活用し、CanonicalのOptimized and Certified Ubuntu、Wind River Linux、Concurrent Real の Redhawk Linux、各種 Yocto ベースのディストリビューションなど、Linux ベースのディストリビューションの選択肢を拡大する。

プラットフォーム拡大によるパートナーエコシステムのメリット

Jetson パートナーエコシステムは、ハードウェア、AI ソフトウェア、アプリケーション設計サービスから、センサー、接続性、開発者ツールに至るまで、幅広いサポートを提供する。NVIDIAパートナー・ネットワークに参加するこれらのイノベーターは、市場で販売される多くの製品にビルディング・ブロックやサブシステムを提供する上で重要な役割を果たしている。

JetPack ソフトウェアの最新リリースにより、Jetson パートナーは市場投入までの時間を短縮し、性能と機能を向上させてより多くの AIを採用する顧客ベースを拡大することができる。

独立系ソフトウェアベンダー(ISV)のパートナーも、Jetson向けに提供する製品を拡大することができる。

生成AI活用ウェビナーを開催

同社は、11月7日(火)午前9時 (太平洋標準時)に行われる、NVIDIA Jetsonで生成AIを実現するウェビナーを開催する。このウェビナーでは、Jetson上でLLMやVLMを展開するためのアクセラレーテッドAPIや量子化手法、TensorRTによる Vision Transformerの最適化など、今回発表されたニュースをテクノロジエキスパートが詳細を説明する予定だ。