グーグルが実物大の相手がすぐ向こう側にいるかのような3Dビデオ通話ブースを開発中

Devin Coldewey,Aya Nakazato

3年前

Google（グーグル）は、3Dディスプレイ上の3D映像を利用して、双方のユーザーをリアルに映し出すビデオ通話ブースの開発に取り組んでいる。まだ実験的なものではあるが「Project Starline（プロジェクト・スターライン）」は長年の研究と買収を基にしており、近い将来、よりパーソナルに感じるビデオ会議の中核となる可能性がある。

このシステムは、事前に何も知らなかった参加者のビデオを通じてのみ公開された。参加者たちはまず、スクリーンとカメラのセットアップがほとんど隠された部屋に入るように指示された。その後、スクリーンが点灯し、家族など大切な人のビデオ映像が映し出されたが、それは誰も予想していなかった方法によるものだった。

「彼女を見て、感じることができ、まるで3Dの体験のようでした。まるで彼女がここにいるかのようだった」。

「彼に本当に触れられるような気がしたわ！」。

「本当に、本当に彼女と私が同じ部屋にいるように感じました」。

Sundar Pichai（サンダー・ピチャイ）CEOは、この「エクスペリエンス」は高解像度のカメラと独自の深度センサーによって可能になったと説明している。これはほぼ間違いなく、人物や場所を撮影した動画をインタラクティブな3Dシーンに変換するという、グーグルの研究プロジェクトに関連していると思われる。

ディスプレイの周囲に隠されたおそらく10数台のカメラとセンサーが、人物をさまざまな角度から撮影し、正確な形状を把握して、ライブで3Dモデルを作成する。このモデルと、すべての色やライティングの情報は、（多くの圧縮と処理を経て）相手のセットアップに送られ、迫真の3Dで表示される。さらに、頭や体をトラッキングし、その時々の視点に合わせて映像を調整する（この技術の初期バージョンについては、こちらでもう少し見られる）。

しかし、3Dテレビはどちらかというと廃れてしまった感がある。誰も特別なメガネを何時間もかけて見たいとは思わないし、メガネなしの3Dはこれまで一般的に画質がかなり悪かった。では、この特別な3D画像は何によって作られているのだろうか？

ピチャイ氏は「当社は画期的なライトフィールドディスプレイを開発しました」と述べているが、これはおそらく、独自の技術を軌道に乗せることができず2018年に解散した、ライトフィールドカメラのLytroを買収して獲得した人材とIPの助けを借りたものだろう。

ライトフィールドカメラやディスプレイは、さまざまな技術を使って2Dで説明したり見せたりするのが非常に難しい3D画像を作成し、表示する。スタートアップのLooking Glassは、3Dモデルや写真のシーンが小さなホログラムのように見える、実際に見ると非常に印象的なものを制作している。

Googleのアプローチが似ていようと違っていようと、参加者たちが示すように、そのインパクトは同様に目覚ましいものであるようだ。現在、社内でテストを行っており、人の存在感が大きな違いを生むさまざまな業界（医療など）のパートナーにユニットを送り出す準備をしているという。

現時点では、Project Starlineはまだプロトタイプに過ぎず、おそらくとんでもなく高価なものになるだろうから、すぐに家に置くことはできない。しかし、このライトフィールド・セットアップのコンシューマー版が将来的に登場するかもしれないと考えることは、決して荒唐無稽ではない。Googleは、2021年後半にもっと情報を共有すると約束している。