AltNeRF: Learning Robust Neural Radiance Field via Alternating Depth-Pose Optimization

要約

Neural Radiance Fields (NeRF) は、まばらなシーン画像から現実的な斬新なビューを生成する可能性を示しています。
ただし、既存の NeRF アプローチでは、明示的な 3D 監視の欠如やカメラのポーズが不正確であるため、多くの場合課題が発生し、最適な結果が得られません。
これらの問題に取り組むために、私たちは AltNeRF を提案します。これは、既知のカメラのポーズに依存せず、単眼ビデオからの自己教師あり単眼深度推定 (SMDE) を使用して、回復力のある NeRF 表現を作成するように設計された新しいフレームワークです。
AltNeRF の SMDE は、NeRF トレーニングを調整するために深度とポーズ プリアを巧みに学習します。
デプス プリアは正確なシーン ジオメトリの描写に対する NeRF の能力を強化し、ポーズ プリアはその後のポーズ微調整のための堅牢な開始点を提供します。
さらに、一貫性主導のメカニズムを通じて NeRF 出力を SMDE に調和的に融合する交互アルゴリズムを導入し、深度事前分布の整合性を強化します。
この変更により、AltNeRF は NeRF 表現を徐々に改良し、現実的な新しいビューを合成できるようになります。
広範な実験により、現実によく似た高忠実度で堅牢な新しいビューを生成する AltNeRF の魅力的な機能が実証されました。

要約(オリジナル)

Neural Radiance Fields (NeRF) have shown promise in generating realistic novel views from sparse scene images. However, existing NeRF approaches often encounter challenges due to the lack of explicit 3D supervision and imprecise camera poses, resulting in suboptimal outcomes. To tackle these issues, we propose AltNeRF — a novel framework designed to create resilient NeRF representations using self-supervised monocular depth estimation (SMDE) from monocular videos, without relying on known camera poses. SMDE in AltNeRF masterfully learns depth and pose priors to regulate NeRF training. The depth prior enriches NeRF’s capacity for precise scene geometry depiction, while the pose prior provides a robust starting point for subsequent pose refinement. Moreover, we introduce an alternating algorithm that harmoniously melds NeRF outputs into SMDE through a consistence-driven mechanism, thus enhancing the integrity of depth priors. This alternation empowers AltNeRF to progressively refine NeRF representations, yielding the synthesis of realistic novel views. Extensive experiments showcase the compelling capabilities of AltNeRF in generating high-fidelity and robust novel views that closely resemble reality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google