PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas

要約

バーチャルリアリティ（VR）などの様々なアプリケーションでは、6自由度（6DoF）で仮想環境を探索できる没入感を実現することが重要です。このようなアプリケーションでは、ネットワーク帯域幅とストレージの要件を削減するために、広基線パノラマが一般的に使用されています。しかし、これらのパノラマ画像から斬新な景色を合成することは、依然として重要な課題となっています。既存の神経輝度場法は、狭いベースラインと高密度の画像キャプチャの下でフォトリアリスティックなビューを生成することができますが、スパース$360^{wide-baseline}$ビューから正確なジオメトリを学習することが困難であるため、 \emph{wide-baseline} パノラマを扱うと学習ビューに過剰適合する傾向がある。この問題を解決するために、我々は、$360^{circ}$シーンプリオールを組み込んだ球面輝度場を構築するPanoGRF, Generalizable Spherical Radiance Fields for Wide-baseline Panoramasを提案する。PanoGRFは、透視画像で学習した一般化可能な輝度場とは異なり、パノラマから透視への変換による情報損失を回避し、球面投影に基づいて各パノラマビューの3Dサンプル点の形状および外観特徴を直接集計する。さらに、パノラマのある領域は、広いベースライン設定において、あるビューからしか見えないが、他のビューからは見えないため、PanoGRFは、360^{circ}$の単眼深度プリオールを球面深度推定に組み込み、形状特徴を向上させる。複数のパノラマデータセットを用いた実験の結果、PanoGRFは、ワイドベースラインパノラマ（例：OmniSyn）および透視画像（例：IBRNet、NeuRay）に対する最先端の一般化可能ビュー合成法を大幅に上回ることが示された。

要約(オリジナル)

Achieving an immersive experience enabling users to explore virtual environments with six degrees of freedom (6DoF) is essential for various applications such as virtual reality (VR). Wide-baseline panoramas are commonly used in these applications to reduce network bandwidth and storage requirements. However, synthesizing novel views from these panoramas remains a key challenge. Although existing neural radiance field methods can produce photorealistic views under narrow-baseline and dense image captures, they tend to overfit the training views when dealing with \emph{wide-baseline} panoramas due to the difficulty in learning accurate geometry from sparse $360^{\circ}$ views. To address this problem, we propose PanoGRF, Generalizable Spherical Radiance Fields for Wide-baseline Panoramas, which construct spherical radiance fields incorporating $360^{\circ}$ scene priors. Unlike generalizable radiance fields trained on perspective images, PanoGRF avoids the information loss from panorama-to-perspective conversion and directly aggregates geometry and appearance features of 3D sample points from each panoramic view based on spherical projection. Moreover, as some regions of the panorama are only visible from one view while invisible from others under wide baseline settings, PanoGRF incorporates $360^{\circ}$ monocular depth priors into spherical depth estimation to improve the geometry features. Experimental results on multiple panoramic datasets demonstrate that PanoGRF significantly outperforms state-of-the-art generalizable view synthesis methods for wide-baseline panoramas (e.g., OmniSyn) and perspective images (e.g., IBRNet, NeuRay).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL