VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points

要約

新規ビュー合成 (NVS)、特にニューラル放射フィールド (NeRF) とガウス スプラッティング (3DGS) の最近の進歩により、フォトリアリスティックなシーン レンダリングで印象的な結果が実証されました。
これらの技術は、没入型リアリズムが重要な仮想観光やテレポーテーションへの応用に大きな可能性を秘めています。
ただし、仮想現実 (VR) システムには高いパフォーマンスが要求されるため、3DGS のような高速レンダリングのシーン表現であっても、レイテンシと計算上の制約により直接利用する際に課題が生じます。
この論文では、これらの障害に対する有望な解決策として中心窩レンダリングを提案します。
私たちは、レンダリング パフォーマンスと人間の視覚システムとの互換性に関して、最先端の NVS 手法を分析します。
私たちのアプローチでは、仮想現実のための新しい中心窩レンダリング アプローチを導入しています。これは、中心窩領域の神経点レンダリングのシャープで詳細な出力を活用し、周辺視野の 3DGS のスムーズなレンダリングと融合しています。
私たちの評価では、標準的な VR 対応 3DGS 構成と比較して、私たちのアプローチによって知覚されるシャープネスとディテールの豊かさが向上していることが確認されています。
当社のシステムは、リアルタイム VR インタラクションに必要なパフォーマンス要件を満たしており、最終的にユーザーの没入感を高めます。
プロジェクトページ: https://lfranke.github.io/vr_splatting

要約(オリジナル)

Recent advances in novel view synthesis (NVS), particularly neural radiance fields (NeRF) and Gaussian splatting (3DGS), have demonstrated impressive results in photorealistic scene rendering. These techniques hold great potential for applications in virtual tourism and teleportation, where immersive realism is crucial. However, the high-performance demands of virtual reality (VR) systems present challenges in directly utilizing even such fast-to-render scene representations like 3DGS due to latency and computational constraints. In this paper, we propose foveated rendering as a promising solution to these obstacles. We analyze state-of-the-art NVS methods with respect to their rendering performance and compatibility with the human visual system. Our approach introduces a novel foveated rendering approach for Virtual Reality, that leverages the sharp, detailed output of neural point rendering for the foveal region, fused with a smooth rendering of 3DGS for the peripheral vision. Our evaluation confirms that perceived sharpness and detail-richness are increased by our approach compared to a standard VR-ready 3DGS configuration. Our system meets the necessary performance requirements for real-time VR interactions, ultimately enhancing the user’s immersive experience. Project page: https://lfranke.github.io/vr_splatting

arxiv情報

提供元, 利用サービス

arxiv.jp, Google