ソフトバンクグループのリアライズ・モバイル・コミュニケーションズ株式会社と、歯科業界のリーディングカンパニーである株式会社モリタは、複合現実(MR)技術を使って、歯科手術トレーニングができるシステムを世界で初めて開発し、報道関係者向けの説明会を行った。
MR技術が歯科医の施術を支援し、万が一の事故を防ぐ
MRとは「Mixed Reality」の略称で、コンピュータがCG等で創り出す視覚情報と現実をミックスした空間を作り出す技術。
最もわかりやすい例を上げてみよう。この医師が診察しているのは「ファントム」と呼ばれるトレーニング用の人形だが、医師のゴーグル内の空間ではリアルな女性(CG)として描かれている。
また、ファントムの口腔内(歯や歯茎のようす)に、レントゲンやCTなどの透視データをゴーグル内で重ねたり、作業ドリル(エアタービン)等の角度を指示するガイドを表示したり、ドリルがどれくらい削って入ったか、あとどれぐらい削るべきか等をコンマmm単位で表示することで、より確実なオペレーションが可能となる、としている。
VRとの違いは、MRで見えている視界のそこには実際にファントムがあり、患者にも触われるし、歯髄に対する施術作業はリアルにトレーニングが可能になることなど。
現在の診療では、レントゲンやCT等の写真と実際の口腔内を見比べながら、慎重にドリルでの作業やオペレーションを行っているが、MR技術を使うことで更に作業を確実にする狙いがある。
もちろん、重ね合わせるのに使用するのは実際のレントゲンやCTから作成した透視データであり、ファントムの歯髄や歯と合成される。
システムの構成としくみ
では現実世界の情報はどのように取得しているのだろうか。
3D空間全体の情報は施術台の上方に設置されたカメラ・センサーが捉え、空間座標を取得している。更に作業ドリルなどの機器にもセンサーがセットされていて、ドリルの位置などの詳細なデータをWindowsベースのコンピュータシステムに送っている。もちろんゴーグル装着者の視界の情報も重要だ。ゴーグルにもステレオカメラが装着されているので、その映像がMRで合成される。
神経や血管、歯髄やエナメル質の状況、インプラントの位置関係など、外側から見えにくい重要な情報を現実の視界に合成することで、万が一の施術事故なども防げるのではないかと考えられている。
視界映像を医師に提供するゴーグルは「Oculus Rift」。実際の視界情報をとらえるステレオカメラが前面に増設されている。また、触覚のように見えるものはゴーグルの座標を天井のセンサーに伝えるために使われている。
医療での活用の場合、ボタン選択やキータッチによるモードの切り換えなどの作業は衛生上の課題を抱える。しかし、このシステムではリープモーションを搭載することで、仮想空間のジェスチャーだけでボタン操作や選択を可能にしているため、施術中の操作も清潔を保ったまま行うことが可能だ。
※次ページにつづく (説明会でのデモンストレーション(動画)も次ページに)
実用化の目標は?
説明会には株式会社モリタの代表取締役 森田晴夫氏、企画とコンセプトを持ち込んだ歯科医師である窪田努氏と芳本岳氏、システム開発を担当したリアライズ・モバイル・コミュニケーションズ株式会社の取締役 勝本淳史氏が登壇した。
このシステムは2017年3月にドイツのケルンで開催された展示会「第37回ケルン国際デンタルショー」でも発表し、評価されたシステムだ。医療全般でのCG活用としては従来から、お腹に骨格や内臓の映像をプロジェクションマッピングで投影するなどの活用方法が提案されていて、MRなどの活用も考えられてはいるものの、柔らかい臓器を対象とすると寝た状態で位置が変わるなどの理由から現段階では実用化が難しい。それに対して歯科医療への応用の場合、歯は外部に出ている唯一の骨であり、身体の向きなどを正確に検知さえすれば、MRでの利用に比較的向いていると言う。
このシステムの商用化については、まずは歯科大学や研究機関向けの教育トレーニング用として約２年程度で実用を目指す、としている。
現状のシステムの課題としてはカメラの解像度がまだ十分でないこと。Microsoft HoloLensを使ったシステムも考えたが、やはりカメラの解像度が足りないなど、克服する課題があるようだ。また、解像度が上がるとコンピュータの処理が重くなり、次はその課題をクリアする必要が出てくる。
筆者も実際にこのシステムを体験した。もちろん筆者は歯科医ではないが、作業するために注意すべき神経や血管などの情報が現実の映像に重ね合わせて薄く表示されるのは便利だし、確実性が上がるように推測できた。一方で顔を動かしたときに視界が変わるのに若干のタイムラグとカクカク感はまだ違和感を感じた。
ただ、この課題はCPUの高速化やGPU導入など、ハードウェア的な進化で近く改善されるに違いない。
VR、AR、MRというと、ゲームや映像を楽しむエンタメ面がクローズアップされているが、このシステムのように医療や教育での利用や、実際に人間の仕事や作業を助けるツールとしての活用に今後も期待したい。
【説明会でのデモンストレーション(動画)】
