SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields

要約

2次元画像からの3次元再構成は広く研究されているが、幾何学的な監視が必要な場合が多い。本論文では、複数の画像シーケンスから学習したニューラルラジアンスフィールド（NeRF）を用いた自己教師付き単眼シーン再構成法であるSceneRFを提案する。形状予測を改善するために、我々は新しい形状制約と、放射輝度場を効率的に更新する新しい確率的サンプリング戦略を導入する。後者は1フレームを条件とするため、合成された複数の新しい奥行きビューの融合からシーンの再構成が達成される。これは、入力フレームの視野を超えた幻視を可能にする球面デコーダによって実現される。徹底的な実験により、新規な奥行きビューの合成とシーン再構成のすべての指標において、ベースラインより優れていることが実証された。我々のコードは https://astra-vision.github.io/SceneRF で利用可能である。

要約(オリジナル)

In the literature, 3D reconstruction from 2D image has been extensively addressed but often still requires geometrical supervision. In this paper, we propose SceneRF, a self-supervised monocular scene reconstruction method with neural radiance fields (NeRF) learned from multiple image sequences with pose. To improve geometry prediction, we introduce new geometry constraints and a novel probabilistic sampling strategy that efficiently update radiance fields. As the latter are conditioned on a single frame, scene reconstruction is achieved from the fusion of multiple synthesized novel depth views. This is enabled by our spherical-decoder, which allows hallucination beyond the input frame field of view. Thorough experiments demonstrate that we outperform all baselines on all metrics for novel depth views synthesis and scene reconstruction. Our code is available at https://astra-vision.github.io/SceneRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL