Local-to-Global Registration for Bundle-Adjusting Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) は、フォトリアリスティックで斬新なビュー合成を実現しました。
ただし、正確なカメラ ポーズの要件は、そのアプリケーションを制限します。
ニューラル 3D 表現を共同で学習し、カメラ フレームを登録するための合成による分析の拡張機能が存在するにもかかわらず、初期化が不十分な場合、次善のソリューションの影響を受けやすくなります。
L2G-NeRF は、ニューラル ラディアンス フィールドをバンドル調整するためのローカルからグローバルへの登録方法です。最初に、ピクセル単位の柔軟な位置合わせ、続いてフレーム単位の制約付きパラメトリック位置合わせです。
ピクセル単位のローカル位置合わせは、測光再構成エラーを最適化する深いネットワークを介して教師なしの方法で学習されます。
フレーム単位のグローバル アラインメントは、ピクセル単位の対応に対して微分可能なパラメーター推定ソルバーを使用して実行され、グローバル変換が検出されます。
合成データと現実世界のデータに関する実験は、忠実度の高い再構成と大きなカメラポーズのずれの解決という点で、現在の最先端技術よりも優れていることを示しています。
私たちのモジュールは、NeRF バリアントやその他のニューラル フィールド アプリケーションに適用できる使いやすいプラグインです。
コードと補足資料は、https://rover-xingyu.github.io/L2G-NeRF/ で入手できます。

要約(オリジナル)

Neural Radiance Fields (NeRF) have achieved photorealistic novel views synthesis; however, the requirement of accurate camera poses limits its application. Despite analysis-by-synthesis extensions for jointly learning neural 3D representations and registering camera frames exist, they are susceptible to suboptimal solutions if poorly initialized. We propose L2G-NeRF, a Local-to-Global registration method for bundle-adjusting Neural Radiance Fields: first, a pixel-wise flexible alignment, followed by a frame-wise constrained parametric alignment. Pixel-wise local alignment is learned in an unsupervised way via a deep network which optimizes photometric reconstruction errors. Frame-wise global alignment is performed using differentiable parameter estimation solvers on the pixel-wise correspondences to find a global transformation. Experiments on synthetic and real-world data show that our method outperforms the current state-of-the-art in terms of high-fidelity reconstruction and resolving large camera pose misalignment. Our module is an easy-to-use plugin that can be applied to NeRF variants and other neural field applications. The Code and supplementary materials are available at https://rover-xingyu.github.io/L2G-NeRF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google