NeuralPassthrough: Learned Real-Time View Synthesis for VR

要約

バーチャルリアリティ（VR）ヘッドセットは、没入感のある立体的な映像体験を提供しますが、その代償として、ユーザーは自分の物理的な環境を直接観察することができなくなります。パススルー技術は、外向きのカメラを利用して、ヘッドセットなしでユーザーが見ることができる画像を再構成することで、この制限に対処することを目的としています。パススルー・カメラは物理的に目と同じ位置に設置できないため、これは本質的にリアルタイムのビュー合成の課題です。既存のパススルー技術は、正確な奥行き情報（特に近視野や遮蔽物）の欠如が主な原因で、気が散る再構成アーチファクトに悩まされ、また低解像度や単色であるなど、限られた画質を示しています。本論文では、初めて学習型パススルー手法を提案し、RGBカメラのステレオペアを含むカスタムVRヘッドセットを用いて、その性能を評価する。シミュレーションと実験の両方を通じて、我々の学習型パススルー法は、デスクトップに接続されたヘッドセットの広視野にわたってリアルタイムで遠近感を補正した立体視合成という厳しいVR要件を満たしながら、最先端の方法と比較して優れた画質を提供することを実証する。

要約(オリジナル)

Virtual reality (VR) headsets provide an immersive, stereoscopic visual experience, but at the cost of blocking users from directly observing their physical environment. Passthrough techniques are intended to address this limitation by leveraging outward-facing cameras to reconstruct the images that would otherwise be seen by the user without the headset. This is inherently a real-time view synthesis challenge, since passthrough cameras cannot be physically co-located with the eyes. Existing passthrough techniques suffer from distracting reconstruction artifacts, largely due to the lack of accurate depth information (especially for near-field and disoccluded objects), and also exhibit limited image quality (e.g., being low resolution and monochromatic). In this paper, we propose the first learned passthrough method and assess its performance using a custom VR headset that contains a stereo pair of RGB cameras. Through both simulations and experiments, we demonstrate that our learned passthrough method delivers superior image quality compared to state-of-the-art methods, while meeting strict VR requirements for real-time, perspective-correct stereoscopic view synthesis over a wide field of view for desktop-connected headsets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL