SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields

要約

単一の 2D 画像からの 3D 再構成は文献で広く取り上げられていますが、トレーニング時の深度監視に依存しているため、その適用性は制限されています。
深度への依存を緩和するために、トレーニング用にポーズをとった画像シーケンスのみを使用する自己教師あり単眼シーン再構成方法である SceneRF を提案します。
ニューラル放射輝度フィールド (NeRF) の最近の進歩を原動力として、明示的な深度の最適化と新しい確率的サンプリング戦略を使用して輝度フィールドを最適化し、大規模なシーンを効率的に処理します。
推論すると、単一の入力画像は、3D シーンの再構成を取得するために融合される新しい深度ビューを幻覚させるのに十分です。
徹底した実験により、屋内の BundleFusion と屋外の SemanticKITTI において、新しい深度ビューの合成とシーンの再構成のすべてのベースラインよりも優れたパフォーマンスを発揮することが実証されました。
コードは https://astra-vision.github.io/SceneRF で入手できます。

要約(オリジナル)

3D reconstruction from a single 2D image was extensively covered in the literature but relies on depth supervision at training time, which limits its applicability. To relax the dependence to depth we propose SceneRF, a self-supervised monocular scene reconstruction method using only posed image sequences for training. Fueled by the recent progress in neural radiance fields (NeRF) we optimize a radiance field though with explicit depth optimization and a novel probabilistic sampling strategy to efficiently handle large scenes. At inference, a single input image suffices to hallucinate novel depth views which are fused together to obtain 3D scene reconstruction. Thorough experiments demonstrate that we outperform all baselines for novel depth views synthesis and scene reconstruction, on indoor BundleFusion and outdoor SemanticKITTI. Code is available at https://astra-vision.github.io/SceneRF .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google