SPARF: Neural Radiance Fields from Sparse and Noisy Poses

要約

Neural Radiance Field (NeRF) は、フォトリアリスティックな斬新なビューを合成するための強力な表現として最近登場しました。
優れたパフォーマンスを示しますが、高精度のカメラ ポーズを備えた高密度の入力ビューの可用性に依存しているため、現実世界のシナリオでの用途は限られています。
この研究では、ノイズの多いカメラ ポーズを持つワイド ベースラインの入力画像が少数 (最低 3 つ) しかない場合の、新規ビュー合成の課題に対処するために、Sparse Pose Adjusting Radiance Field (SPARF) を導入します。
私たちのアプローチは、NeRF を共同学習してカメラのポーズを調整するために、マルチビューのジオメトリ制約を利用します。
入力ビュー間で抽出されたピクセルの一致に依存することで、マルチビュー対応目標は最適化されたシーンとカメラのポーズを強制して、グローバルで幾何学的に正確なソリューションに収束します。
深度の一貫性が失われると、再構築されたシーンがどの視点から見ても一貫性を持つようになります。
私たちのアプローチは、複数の困難なデータセットに対するスパースビュー体制における新しい最先端技術を確立します。

要約(オリジナル)

Neural Radiance Field (NeRF) has recently emerged as a powerful representation to synthesize photorealistic novel views. While showing impressive performance, it relies on the availability of dense input views with highly accurate camera poses, thus limiting its application in real-world scenarios. In this work, we introduce Sparse Pose Adjusting Radiance Field (SPARF), to address the challenge of novel-view synthesis given only few wide-baseline input images (as low as 3) with noisy camera poses. Our approach exploits multi-view geometry constraints in order to jointly learn the NeRF and refine the camera poses. By relying on pixel matches extracted between the input views, our multi-view correspondence objective enforces the optimized scene and camera poses to converge to a global and geometrically accurate solution. Our depth consistency loss further encourages the reconstructed scene to be consistent from any viewpoint. Our approach sets a new state of the art in the sparse-view regime on multiple challenging datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google