ソニーのサウンドARってなに? 体験型「サウンドウォーク ~ムーミン谷の冬~」を体験してきた AI技術を活用した耳で感じる新体感

埼玉県飯能市にある「ムーミンバレーパーク」では、アートとテクノロジーが融合した体験型イベント「WINTER WONDERLAND in MOOMINVALLEY PARK」が開催中です。その中で、ソニーが開発したSound ARによる「サウンドウォーク ~ムーミン谷の冬~」が始まったと聞いて、早速体験しに行ってきました。


「サウンドウォーク ~ムーミン谷の冬~」は、ソニーのオープンイヤーステレオヘッドセット「STH40D」と「Xperiaスマートフォン」を借り、パーク内を歩いて回りながら、ムーミンの物語を体験できるサウンド・コンテンツです。


耳に聞こえてくるのは最新のテクノロジーを使った新体験。「ムーミン谷の冬」の物語の世界が音と声とBGM、さらには景色と融合して全身の感覚で展開されます。ソニーが開発したサウンドARを使って、ムーミンの世界にたっぷりと浸ることができる、ということなんです。ARとは「Augmented Reality」の略称で一般に拡張現実と訳します。

スキップに合わせて効果音が聞こえる!不思議!これも新感覚

ソニーがオープンイヤーステレオヘッドセットと「Sound AR」をイベントやアトラクション等に本格的に活用するのは初の試み。


体験したゲストからは「ムーミンの物語の世界に自分も入れたように感じて感動した」 「湖の風景とストーリーがマッチしていてとてもよかった」「ムーミンの原作を読んでみたくなった」「飛んだり跳ねたりすると音がして楽しかった」「耳が幸せだった」といった感想が寄せられているとのこと・・。


Sound AR、現実を拡張するサウンドとはどんなものなのか、どのように「ムーミン谷の冬」を体験して楽しむのか、ますます知りたくなってきました。すぐにでもやってみたい!

【動画】「サウンドウォーク ~ムーミン谷の冬~」ムービーMOOMINVALLEY PARK WINTER WONDERLAND sound walk


パーク入り口で「サウンドウォーク」を申し込み

まずはムーミンバレーパークの入場券を買ってパークの中に入ります(おとな:中学生以上 1,500円、こども:4歳以上小学生以下 1,000円)。入り口すぐの「インフォメーション」カウンターで「サウンドウォーク」の参加申し込みをします(一回1,000円)。サウンドウォークは30分に1回の間隔でスタートとなり、「インフォメーション」カウンターで開始時間の予約もできます。

まずは「サウンドウォーク」の申し込みをしましょう(3月8日までの期間限定です)

ソニーのオープンイヤーステレオヘッドセットとスマートフォン(Xperia)を貸してもらえます

オープンイヤーステレオヘッドセットは耳を完全にはふさがないヘッドホン。周囲の環境音とヘッドホンから流れる音声やサウンドの両方が聞こえます

更にガイドブックがもらえます。これから始まるムーミン谷の冒険や、登場するキャラクターが載っています。なんだかワクワクしてきましたよ。


インフォメーションのすぐ先が集合場所。時間になるとスタッフのお姉さんが登場!


スタッフのお姉さんがスマホの操作方法や楽しみ方のポイントを解説してくれます。


最初に物語のプロローグ、短いムービーをみんなで観ます。



ムーミン⾕に冬がやってきました。ムーミン一家は冬の間眠って過ごします。ただ、今年だけは違いました。ムーミントロールが冬眠の途中で起きてしまって、もうそれっきり眠れなくなってしまったのです。これは、ひとり冬眠から目覚めてしまったムーミンが、はじめて見る雪の世界で、さまざまな出逢いをしながら冒険へでかけるお話です。

プロローグを観たらいよいよ旅のスタートです。


ムーミン谷は雪化粧・・歩き始めるとビックリ・・

ナレーションが流れ、ムーミン谷は雪化粧。ふむふむ。
スタッフのお姉さんと一緒に参加者みんなで歩き始めます。


ザクッ・・足の動きに合わせて雪を踏みしめる音がします。えっ!? なんで!?
ジャンプしたり、足をバタバタするとそれに応じて音が聞こえてきます。ツアー参加の皆さんに笑顔がこぼれ、早速サウンドARの魅力が体感できます。

サウンドARでは、ナレーションや登場人物の語り、BGMのほかに、様々な効果音が流れます。例えば、雪を踏みしめる足音や風の音。風はいつも山の方から吹いてきて、身体の向きを変えても山の方から聞こえてくるので、本当に風が山から吹いてくるように感じます。


6か所のポイントをめぐる旅

やがて参加者全員で最初のポイントに到着します。ポイントでは「シャリーン」という音が鳴って到着を知らせてくれて、イベントがはじまります。ストーリーの重要なイベントとなるのは6か所のポイントですが、その間、歩いている間もサウンドやBGM、ナレーションなどで楽しませてくれます。


最初のポイントでは湖畔の水辺に一艘のボートが駐めてあります。スナフキンのボートです。ムーミンはこのボートを見て、スナフキンからの手紙を思い出します。ここでこれからはじまる私たちの旅の目的も明らかになります。
ちなみにキャラクターの声はムーミントロールが戸松遥さん、スナフキンが桜井孝宏さんなど、実績のある豪華声優陣が担当しています。それもこのサウンドウォークの魅力のひとつです。

見逃さないで。奥に見えるのがスナフキンのボート

各ポイントでは借りているスマホで写真が撮影できます。各ポイントで撮った写真は1枚だけ保存できて、アトラクション終了後にもらえます。何度でも撮り直しができるので、景色を撮ったり、自撮り写真を撮ったり、思い思いに撮影を楽しみます。


実はここでスタッフのお姉さんとはお別れ。ここから先は参加者だけで旅を続けます。


ポイントの到着はGPSだけで認識

なお、ロボスタらしく技術的な解説をすると、参加者がポイントに到着したことは「GPSだけ」で検知しています。こういったイベントではよくビーコンが使われますが、場所的に屋外で、比較的開けているとはいえ、GPSでも高い精度で参加者の位置を検出しているところは、さすが最新のテクノロジーです。


いろいろなキャラクターが登場します

耳で風を感じ、素敵なBGMを聞きながら歩くと、やがて水浴び小屋が見えてきます。そこでは口笛を吹くトゥーティッキ(おしゃまさん)と出会います。水浴び小屋には不思議な生きものがいるそうです。行ってみましょう。

トゥーティッキが話しかけてきます

水浴び小屋には不思議な生きものがいるそうです

不思議な生きものの正体がわかったら、ここでも写真を撮って、更に旅を続けましょう。次のポイントはムーミン屋敷です。歩きながら、すばらしいしっぽをもったリスくんに出会えますよ。

ムーミンバレーパークのショーの時間とたまたま重なりました。たくさんのゲストたちがムーミンのショーを楽しんでいました

ムーミン屋敷では雪でできた白いうまを見つけます。ここで「氷姫」の存在を知ることになります。ムーミン屋敷や白いうまの写真を撮りました。



おさびし山の登り口ではリトルミイがすごい勢いで滑ってやってきます。サウンドARでは滑ってくる方向、リトルミイが話している方向が分かりますよ。


くるくる回っても音が聞こえる方向は一定です。とても不思議

各ポイントで撮る写真はキャラクターのフレーム付き。キャラクターを上手に配置することで、ちょっと面白い写真にすることもできます。

頭の上にリトルミイを乗せて自撮りしてみました


最新のAI機械学習が使われている

ジャンプしたり脚をバタつかせたり、スキップするとそれに合わせて足音が鳴ったり。雪が深くなるシーンでは踏みしめる足も変わります。いったいどうして足の動きを検知できるのでしょうか。
ここで再び技術解説!
基本的にはスマホの加速度とジャイロセンサーを使い、ディープラーニング(AI関連技術)を含めたソニー独自の機械学習技術で、ゲストの動きを検知しています。例えば、スマホを首から下げているのと、手に持っているのではセンサーの信号が異なりますが、さまざまな状況を学習させることで、AIがゲストの足の動きを高精度に解析することができるようになっているのです。
アートとテクノロジーが融合した体験というだけあって、ここにも最新のAIテクノロジーが使われているんですね。


思わず涙してしまうシーンも

ここから旅はクライマックスへと向かっていきます。
思わずニコニコしてしまうシーンや、思わず涙してしまう場面、興奮してドキドキするシーンにも遭遇しました。

冬の厳しさを感じる灯台のシーン。しゃがんでいるのにも理由があります

そしてラストはムーミン谷にやってくる春を感じながら、ほっこりした気持ちでエンディングのBGMを聞きながら湖畔を歩きました。
音だけでこれほど感情を揺さぶられる体験ができるとは、正直いって驚きました。
いやぁ~、楽しかった。



ムーミンバレーパークに初めての冬がやってきた

ムーミンバレーパークでは3月8日まで「WINTER WONDERLAND in MOOMINVALLEY PARK」を開催中。 「サウンドウォーク ~ムーミン谷の冬~」のほか、ムーミン屋敷のプロジェクションマッピング、ムーミン谷のウィンターツリー、光る花の道など、冬だけのイベントも多数行われています。天候によって内容が変更となったり中止となるものもあります。Twitterのムーミンバレーパーク最新状況(@metsamvp_info)では当日の園内情報も投稿しているので、確認してください。



動画 2019 winter wonderland in moominvalley park PV ver2



【サウンドウォーク ~ムーミン谷の冬~】

期間 2020年1月16日(木)~ 3月8日(日)
開催時間 10:00-17:00 (最終受付16:00)
※10:00より30分間隔で受付をスタート。各回最大先着20名様の体験となる。※雨天中止
受付場所 「ムーミンバレーパーク」インフォメーションカウンター(埼玉県飯能市宮沢327-6 メッツァ内)
参加費 1,000円(税込)/名 (ムーミンバレーパークの入場料が別途必要)
対象年齢 小学生以上
※専用イヤホンの装着が困難とスタッフが判断した場合は利用不可となる。
体験所要時間 約1時間
内容 貸出しするソニーのXperiaスマートフォンとソニーのオープンイヤーステレオヘッドセット(STH40D)を装着してムーミンバレーパーク内を歩くことで、SoundAR体験を楽しめる。


※ Sound AR™はソニーの商標です

ABOUT THE AUTHOR / 

神崎 洋治
神崎 洋治

神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。

PR

連載・コラム