SPARF: Neural Radiance Fields from Sparse and Noisy Poses

要約

Neural Radiance Field (NeRF) は、フォトリアリスティックな斬新なビューを合成するための強力な表現として最近登場しました。
印象的なパフォーマンスを示しますが、非常に正確なカメラ ポーズを備えた高密度の入力ビューの可用性に依存しているため、現実世界のシナリオでの適用が制限されます。
この作業では、スパース ポーズ調整ラディアンス フィールド (SPARC) を導入し、ノイズの多いカメラ ポーズを含む少数のワイドベースライン入力画像 (最低 3 つ) のみが与えられた場合の斬新なビュー合成の課題に対処します。
私たちのアプローチは、NeRF を共同で学習し、カメラのポーズを調整するために、マルチビュー ジオメトリの制約を利用します。
入力ビュー間で抽出されたピクセルの一致に依存することにより、マルチビュー対応の目的は、最適化されたシーンとカメラのポーズを適用して、グローバルで幾何学的に正確なソリューションに収束させます。
深度の一貫性の喪失により、再構築されたシーンがどの視点から見ても一貫性を持つことがさらに促進されます。
私たちのアプローチは、複数の挑戦的なデータセットのスパースビュー体制に新しい最先端技術を設定します。

要約(オリジナル)

Neural Radiance Field (NeRF) has recently emerged as a powerful representation to synthesize photorealistic novel views. While showing impressive performance, it relies on the availability of dense input views with highly accurate camera poses, thus limiting its application in real-world scenarios. In this work, we introduce Sparse Pose Adjusting Radiance Field (SPARF), to address the challenge of novel-view synthesis given only few wide-baseline input images (as low as 3) with noisy camera poses. Our approach exploits multi-view geometry constraints in order to jointly learn the NeRF and refine the camera poses. By relying on pixel matches extracted between the input views, our multi-view correspondence objective enforces the optimized scene and camera poses to converge to a global and geometrically accurate solution. Our depth consistency loss further encourages the reconstructed scene to be consistent from any viewpoint. Our approach sets a new state of the art in the sparse-view regime on multiple challenging datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google