SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields

要約

文献では、2D 画像からの 3D 再構成が広く取り上げられていますが、多くの場合、依然として幾何学的な監視が必要です。
この論文では、姿勢を伴う複数の画像シーケンスから学習した神経放射輝度場 (NeRF) を使用した自己教師あり単眼シーン再構成法である SceneRF を提案します。
ジオメトリ予測を改善するために、新しいジオメトリ制約と、放射輝度フィールドを効率的に更新する新しい確率的サンプリング戦略を導入します。
後者は単一のフレームで調整されるため、シーンの再構成は、複数の合成された新しい深度ビューの融合から実現されます。
これは、球面デコーダーによって可能になり、入力フレームの視野を超えた幻覚を可能にします。
徹底的な実験により、新しい深度ビュー合成とシーン再構成のすべてのメトリックですべてのベースラインよりも優れていることが実証されています。
コードは https://astra-vision.github.io/SceneRF で入手できます。

要約(オリジナル)

In the literature, 3D reconstruction from 2D image has been extensively addressed but often still requires geometrical supervision. In this paper, we propose SceneRF, a self-supervised monocular scene reconstruction method with neural radiance fields (NeRF) learned from multiple image sequences with pose. To improve geometry prediction, we introduce new geometry constraints and a novel probabilistic sampling strategy that efficiently update radiance fields. As the latter are conditioned on a single frame, scene reconstruction is achieved from the fusion of multiple synthesized novel depth views. This is enabled by our spherical-decoder, which allows hallucination beyond the input frame field of view. Thorough experiments demonstrate that we outperform all baselines on all metrics for novel depth views synthesis and scene reconstruction. Our code is available at https://astra-vision.github.io/SceneRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google