Local-to-Global Registration for Bundle-Adjusting Neural Radiance Fields

要約

Neural Radiance Fields (NeRF)は、フォトリアリスティックな新しい景色の合成を実現しているが、正確なカメラポーズが必要であるため、その応用は限定的である。しかし、正確なカメラポーズが要求されるため、その応用は限定的である。我々は、L2G-NeRFを提案する。L2G-NeRFは、Neural Radiance Fieldsをバンドル調整するためのローカルからグローバルへの登録方法であり、まず、ピクセル単位の柔軟な位置合わせを行い、次にフレーム単位の制約されたパラメトリックな位置合わせを行う。ピクセル単位のローカルアライメントは、測光再構成誤差を最適化するディープネットワークを介して教師なし方法で学習される。フレーム単位のグローバルアライメントは、ピクセル単位の対応関係に微分可能なパラメータ推定ソルバーを用いて、グローバル変換を見つけるために実行される。合成データおよび実世界のデータを用いた実験により、本手法は、高忠実な再構成と大きなカメラポーズのずれを解決するという点で、現在の最先端技術を凌駕していることが示されました。我々のモジュールは使いやすいプラグインであり、NeRFバリアントや他のニューラルフィールドアプリケーションに適用することができる。コードと補足資料は、https://rover-xingyu.github.io/L2G-NeRF/ で入手できます。

要約(オリジナル)

Neural Radiance Fields (NeRF) have achieved photorealistic novel views synthesis; however, the requirement of accurate camera poses limits its application. Despite analysis-by-synthesis extensions for jointly learning neural 3D representations and registering camera frames exist, they are susceptible to suboptimal solutions if poorly initialized. We propose L2G-NeRF, a Local-to-Global registration method for bundle-adjusting Neural Radiance Fields: first, a pixel-wise flexible alignment, followed by a frame-wise constrained parametric alignment. Pixel-wise local alignment is learned in an unsupervised way via a deep network which optimizes photometric reconstruction errors. Frame-wise global alignment is performed using differentiable parameter estimation solvers on the pixel-wise correspondences to find a global transformation. Experiments on synthetic and real-world data show that our method outperforms the current state-of-the-art in terms of high-fidelity reconstruction and resolving large camera pose misalignment. Our module is an easy-to-use plugin that can be applied to NeRF variants and other neural field applications. The Code and supplementary materials are available at https://rover-xingyu.github.io/L2G-NeRF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL