スタンフォード大、AIによる「ニューラルホログラフィー」でVR体験をよりリアルに！

YamadaYoji

3年前

ARやVRが日常生活に溶け込む世界に期待が膨らみますが、それまでにはさまざまな技術革新が必須。根本的な課題として、ビジュアルがよりリアルに近づく必要がありそうです。

スタンフォード大学の計算画像研究所（Stanford Computational Imaging Lab）は、AIと光学を組み合わせてこの課題に取り組んでいます。同研究チームは、ビジュアルをシーンに応じて調整し、VRディスプレイでの体験をリアルに近づける手法を開発しました。

現実シーンでの見え方をニューラルネットワークで模倣

AR/VRディスプレイには右目用と左目用の2D画像が表示され、両眼視差により3Dオブジェクトとして認識する仕組みになっています。つまり、根本的に3Dの現実世界とは別物で、このギャップを埋める必要があります。

リアルな3Dオブジェクトを見るときのように、目がさまざまな距離に焦点を合わせられるようにする「ライトフィールドテクノロジー」といった手法もありますが、研究チームが取り組んだのは、現実シーンの物理学を適用したニューラルネットワークを活用する手法。これを「ニューラルホログラフィー」と呼んでいます。

現実シーンで起こることを模倣し、リアルタイムで画像に調整を促すことで、色、コントラスト、鮮明さが改善。よりリアルに見えるビジュアルが作成できたようです。

また、研究チームは、LEDやSLEDを用いてAR/VRディスプレイのビジュアルを改善するアルゴリズムも発表しています。

コヒーレントな光源は、ホログラムに斑点（スペックルノイズ）が生じることが課題です。レーザーを用いたシステムでは、これを低減するためにコントラストを犠牲にしていて、画像がぼやけるという副作用を招いています。

一方で、LEDやSLEDなど、部分的にコヒーレントな光源でも同様の現象が発生し得るとのこと。これに対し、研究チームは部分的にコヒーレントな光源の物理学に特化したアルゴリズムを開発。リアルタイム調整戦略と組み合わせて斑点のない高品質な3D画像を作成しました。

ホログラフィーの領域において、AI技術の探求はまだ始まったばかりとのことです。

（文・山田洋路）