【速報】5Gの特徴を機械人間「オルタ3」とオーケストラで表現したらこうなった!NTTドコモが動画「爆奏オーケストラ」を公開

いよいよ今春、日本でも「5G」通信サービスがはじまる。
高速大容量、低遅延の「5G」は私たちにどんな感動を提供してくれるのだろうか。
NTTドコモがその「5G」によって拡がる世界観を分かりやすく表現した動画「爆奏オーケストラ」を公開した。
オーケストラを指揮するのはロボット技術と人工生命の最先端をいく機械人間「オルタ3」。音楽家の渋谷慶一郎氏による「アンドロイド・オペラ Scary Beauty」を指揮することでも知られている。

オーケストラとその指揮者「オルタ3」。撮影現場は独特の緊張感が漂う


3G、4G、5Gの違いを演奏と映像演出で表現

今回はなんと「5G」回線の特徴を表現しつつ、「人体の限界」に挑戦するべく、「オルタ3」は「G線上のアリア」を演奏するオーケストラを指揮。演奏によって3G、4G、5Gを表現することに挑戦する。

オーケストラ奏者たちを指揮する機械人間「オルタ3」

3G、4G、そして5Gそれぞれをイメージした速さで演奏するオーケストラの困惑の表情に注目

3Gではゆっくりとしたテンポで「G線上のアリア」が演奏される

5Gでは最大480BPM(Beat per minuites)のテンポで演奏することになる(人間の心拍数のテンポがだいたい60~70程度)。



指揮するのはアンドロイドだが、演奏するのは人間。「5Gをイメージしたアンドロイドの高速テンポについていけるのだろうか」と心配したが、そこはさすがのプロ奏者の皆さん、5Gの超高速性だけでなく、身ぶり手ぶりも大きく優雅になって、演奏と演出の幅が拡がる5Gの世界観がみごとに表現されている。

5Gのパートでは、オルタ3とともにオーケストラ奏者たちも躍動感あふれる演奏が展開される

『”5G”線上のアリア』をかつてない迫力で「爆奏」!


動画で実際にその変化を体感して欲しい。

■ 爆奏オーケストラ




オルタ3とは

「オルタ3」は人間とのコミュニケーションの可能性を探るため、また「生命を持つように感じさせるものは何か?」という問いを追求するために開発された人工生命×アンドロイド。オーケストラを指揮するために改良された3代目にあたる。


ミクシィ、大阪大学 石黒研究室、東京大学 池上研究室、ワーナーミュージック・ジャパンらが研究と開発に携わっている。音楽家の渋谷慶一郎氏による「Scary Beauty」は日本科学未来館や新国立劇場などでオーケストラを指揮する姿が披露されたほか、海外でも数多く公演を行ってきた。

新国立劇場でオーケストラを指揮しつつ、オペラを歌う「オルタ3」(2019年3月撮影)。トーキングモジュレータの採用によって、人と同じように口から発声できるようになった(今回の指揮では歌はない)

オルタ3の全景


オルタ3 関係者インタビュー

「爆奏オーケストラ」の撮影が行われた日、東京大学の池上先生、大阪大学の小川先生、ミクシィの村瀬氏、ワーナーミュージック・ジャパンの増井氏の4人による座談会風のインタビューが行われた。
池上先生はアンドロイド「オルタ」をどのように動かすか、原理とその理論、技術開発や実装を行った。小川先生は基本的な制御、デザインコンセプトなどを担当、ミクシィはオルタ3のプログラミングや動きの制御等を実行・確認するシュミレーター・システムの構築を担当。ワーナーミュージックはオルタ3をプロジェクト化して世の中に出していくことを担当している。


ワーナーミュージック・ジャパンの増井健仁氏は「オルタ3」の魅力について「エンターテインメントの世界では、人間と人間の掛け合いがステージ上では起きています。しかし「オルタ3」を使ったエンターテインメントでは、人間とアンドロイドの掛け合わせが可能になる。それは世界的にみても珍しい」と語った。

ワーナーミュージック・ジャパンの増井健仁氏

聞き手

今回のCM撮影は、コミュニケーションとアート、サイエンス、テクノロジーなど、さまざまな分野が複合的に重なり、融合していく象徴のように感じます。その点についてどう思いますか

増井氏

普段、私たちはコンサート等を企画していますが、テクノロジーの進化によって、演出でできることが増えています。例えばステージ上の衣装を例にとると、昔はステージ上の演者が着ている衣装には照明をあてるだけだったものが、やがて埋め込まれたLEDによって衣装が光るようになり、表現力を持ち、衣装自体がひとつのメディアになりました。そう考えるとオルタ3は演者自体がテクノロジーであって人間ではない。それはエンタテインメントにとって未来の扉を開く可能性があると思っていて、すごいことが既に起こり始めていると感じています。

小川氏

オルタ3は人間の代替になることを目標にしているわけではありません。そのため「人間の代わりにオルタ3が指揮をする」というだけでは意味がありません。人間が指揮するのとは違うもの、新しい領域に進化していくことが重要です。
いまオルタ3が指揮することで音楽的に何かの変化が起きていたり、新しいものを生み出しているのかどうかは、私にはまだわかりません。しかし、オルタ3が指揮することで「何かに惹かれる」と感じる人が多いとしたら、その何かを解明することで、テクノロジーにフィードバックして活かすことができます。そういった意味で、サイエンスやテクノロジーが音楽に限らずいろいろな分野と重なっていくことは絶対に意味があることだと感じています。ただ「やってみた」だけでなく、そこからの何かをの新発見をして、知見を積み重ねていくことが重要です。

名古屋大学(*プロジェクト開始時は大阪大学)の小川浩平氏「オルタ3は人間の指揮者にはない何かを持っていて、音楽に新鮮で美しいものを加えてくれるかもしれない」

村瀬氏

アートやサイエンス、テクノロジーが融合して何かが生まれる・・その速度は年々、加速していると感じています。

ミクシィの取締役CTOの村瀬龍馬氏

池上氏

サイエンスとテクノロジーを「科学技術」と呼んでひとつに表現するのは日本だけで、サイエンスとテクノロジーは区別する必要があると感じています。アート・テクノロジーなども生まれていますが、基本的に背後にあるものは「人間」であり、そこをどういう形で表現するかが重要です。その意味では融合よりもむしろ分かれていくことの方がいい。それでいて、個々人が複数の分野に長けていたり資質を持っていることが重要です。

「ALife」(人工生命)の研究者 東京大学の池上高志氏

例えば、もともとアートが持つ怖さ、科学が持つ今までの認識を変えていく力とか、コンピュータの次に来る思考の道具として「オルタ」が貢献したらいいな、と感じています。

小川氏

アートにおいては「怖い」という要素は重要ですね。印象に残るアート作品の多くが怖いと感じる。(全員が同意)

増井氏

オルタの展示を観ると、私自身も「怖い」というか心がザワザワします。展示されているオルタの前に立って対峙したとき、自分の中の何かをオルタに持っていかれてしまうような、そんなザワザワ感です。

池上氏

オルタはコンピュータの画面の外にいることも重要な要素のひとつになっていると思います。私の専門は「人工生命」ですが、「生と死」が伴うものです。アートも生と死を題材にしたものが多く、そこでつながっていると感じています。
CGやVRなど表現技術はいろいろと出てきていますが、ロボットは目の前に存在して、もしかすると襲いかかってくるかもしれない、といった死を伴うような存在感が実際にそこにあることが特徴のひとつです


海外での公演も展開

聞き手

新国立劇場で「4社共同研究プロジェクト」を発表してから、これまでの主な活動と今後の予定を教えてください。

増井氏

2019年3月にドイツ・デュッセルドルフでのフェスティバル「Hi, Robot!」で上演したアンドロイドオペラ「Scary Beauty」とオルタ3の展示を皮切りに、その後5月にはイギリス・ロンドンのバービカンセンター「AI: More Than Human」での展示や、現在開催中の森美術館「未来と芸術展」での展示(オルタ3の展示は2019年末で終了)、2020年に入ってからは1月にUAEシャルジャでのフェスティバル「Inter-Resonance」に「Scary Beauty」で出演し、6月にはイタリアミラノで開催予定のAIイベント「Naked AI」での公演も決まっています。ミラノは渋谷慶一郎さんによるピアノとオルタ3のみでの新たなステージとなり楽しみです。また8月には文化庁主催の日本博にラインアップされた、新国立劇場での新制作オペラ「Super Angels」にもオルタ3が物語の核となる役で出演するなど、今後も世界各地の皆様にお目にかかれると思います。




GANと「進化プロセス」が個性を生む

池上氏は「オルタ3には目にカメラが内蔵されていて人間の動きを見て模倣することができる。模倣することは人間の発達にも重要だが、同じようなプロセスでオルタがどのように発達していけるか」を今後のポイントのひとつとして掲げた。
オルタ3は最近のGAN(敵対的生成ネットワーク)のような新しいパターンを、自分の身体性をもとに、新しい身体運動を生成するしくみが取り入れられている。池上教授は「それ(身体性を使ったクリエイティビティ)は人間が持っているクリエイティビティと似ている」と語る。


更に「進化プロセス」と名付けた技術も併用する。カメラで取得した人間の動きから骨格情報を解析して身体運動の模倣を行い、その運動の記憶を溜め込んで、それに進化プロセスを用いて変化させる。自律的な人工神経モデルも変化を加えている。オルタは、昔の身体運動を思い出して繰り返し実行させることで、思い出されるたびに運動が変形して、動きのバリエーションが増え、個性に繋がっていく、としている。


2020年1月、国立音楽大学と東京大学は、「オルタ3」と実際の音大生によるオーケストラを用いて、演奏表現に関する共同研究を開始することを発表している。研究の目的は「創発的アートの創造を目指す」ため。オルタ3が指揮するオーケストラ環境を充実させることで研究を加速させたい考えだ。ニューラルネットワークの原理からすれば、音大生とともにたくさんのオーケストラ演奏を経験することで、より高精度な、新しい音楽領域の表現の発見につながる可能性が高くなると考えられる。今後のオルタ3の一層の進化に期待したい。


4Gのときは「爆速」シリーズ

「爆速」シリーズ「3秒クッキング」という動画がある。カンヌライオンズ国際クリエイティビティ・フェスティバルで世界的な広告賞を受賞した。4Gの訴求を目的としたその当時の動画がオンライン上に残っている(下記)。なお、今回は「爆奏」のため同一のシリーズではない。

■「3秒クッキング 爆速餃子」篇



■「3秒クッキング エビフライ」篇

関連サイト
NTTドコモ
NTTドコモ

ABOUT THE AUTHOR / 

神崎 洋治
神崎 洋治

神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。

PR

連載・コラム