Free360: Layered Gaussian Splatting for Unbounded 360-Degree View Synthesis from Extremely Sparse and Unposed Views

要約

ニューラルレンダリングは、高品質の3D神経再構成と密な入力ビューと正確なポーズを使用した新規ビューの合成で顕著な成功を示しています。
ただし、無制限の360 {\ deg}シーンで非常にまばらで順調なビューに適用すると、挑戦的な問題のままです。
このホワイトペーパーでは、無制限の360 {\ deg}シーンでの順位のない非常にまばらな3D再構成を達成するための新しいニューラルレンダリングフレームワークを提案します。
まばらな入力ビューを備えた無制限のシーンに固有の空間的な曖昧さを解決するために、層状のガウスベースの表現を提案して、明確な空間層でシーンを効果的にモデル化します。
密なステレオ再構成モデ​​ルを使用して粗いジオメトリを回復することにより、層固有のブートストラップ最適化を導入して、ノイズを改良し、再構築の閉塞領域を埋めます。
さらに、これら2つのプロセス間の相互条件付けと強化を促進するために、不確実性対応トレーニングアプローチとともに、再構築と生成の反復融合を提案します。
包括的な実験は、私たちのアプローチが、品質と表面再建の精度をレンダリングするという点で、既存の最先端の方法よりも優れていることを示しています。
プロジェクトページ：https：//zju3dv.github.io/free360/

要約(オリジナル)

Neural rendering has demonstrated remarkable success in high-quality 3D neural reconstruction and novel view synthesis with dense input views and accurate poses. However, applying it to extremely sparse, unposed views in unbounded 360{\deg} scenes remains a challenging problem. In this paper, we propose a novel neural rendering framework to accomplish the unposed and extremely sparse-view 3D reconstruction in unbounded 360{\deg} scenes. To resolve the spatial ambiguity inherent in unbounded scenes with sparse input views, we propose a layered Gaussian-based representation to effectively model the scene with distinct spatial layers. By employing a dense stereo reconstruction model to recover coarse geometry, we introduce a layer-specific bootstrap optimization to refine the noise and fill occluded regions in the reconstruction. Furthermore, we propose an iterative fusion of reconstruction and generation alongside an uncertainty-aware training approach to facilitate mutual conditioning and enhancement between these two processes. Comprehensive experiments show that our approach outperforms existing state-of-the-art methods in terms of rendering quality and surface reconstruction accuracy. Project page: https://zju3dv.github.io/free360/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google