SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields

要約

2D 画像からの 3D 再構築は、深度監視によるトレーニングで広く研究されました。
コストのかかる取得したデータセットへの依存を緩和するために、トレーニングにポーズをとった画像シーケンスのみを使用する自己教師あり単眼シーン再構成法である SceneRF を提案します。
ニューラル ラジアンス フィールド (NeRF) の最近の進歩に後押しされて、明示的な深度の最適化と新しい確率的サンプリング戦略を使用してラディアンス フィールドを最適化し、大規模なシーンを効率的に処理します。
推論では、単一の入力画像で、融合して 3D シーン再構成を取得する新しい深度ビューを幻覚させるのに十分です。
徹底的な実験により、屋内の BundleFusion と屋外の SemanticKITTI で、新しい深度ビューの合成とシーンの再構成について、最近のすべてのベースラインよりも優れていることが実証されています。
コードは https://astra-vision.github.io/SceneRF で入手できます。

要約(オリジナル)

3D reconstruction from 2D image was extensively studied, training with depth supervision. To relax the dependence to costly-acquired datasets, we propose SceneRF, a self-supervised monocular scene reconstruction method using only posed image sequences for training. Fueled by the recent progress in neural radiance fields (NeRF) we optimize a radiance field though with explicit depth optimization and a novel probabilistic sampling strategy to efficiently handle large scenes. At inference, a single input image suffices to hallucinate novel depth views which are fused together to obtain 3D scene reconstruction. Thorough experiments demonstrate that we outperform all recent baselines for novel depth views synthesis and scene reconstruction, on indoor BundleFusion and outdoor SemanticKITTI. Our code is available at https://astra-vision.github.io/SceneRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google