CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory

要約

Neural Radiance Field (NeRF) は、高品質の 3D シーン再構築において素晴らしい結果を達成しました。
ただし、NeRF は正確なカメラのポーズに大きく依存しています。
BARF のような最近の作品では NeRF 内にカメラ ポーズの最適化が導入されていますが、その適用範囲は単純な軌道シーンに限定されています。
既存の方法は、大きな回転を伴う複雑な軌道に取り組む際に苦労しています。
この制限に対処するために、ポーズと深度の入力を行わずに RGB 画像のみを使用する増分再構成最適化パイプラインである CT-NeRF を提案します。
このパイプラインでは、まず、隣接するフレームを接続するポーズ グラフの下でローカル/グローバル バンドル調整を提案し、ポーズ間の一貫性を強制して、シーン構造とのポーズの一貫性のみによって引き起こされる極小値を回避します。
さらに、入力画像ペア間のピクセルレベルの対応から生じる再投影された幾何学的画像距離制約として、ポーズ間の一貫性をインスタンス化します。
CT-NeRF は、インクリメンタル再構成を通じてカメラのポーズとシーン構造の両方を復元でき、複雑な軌跡を持つシーンを処理できます。
複雑な軌跡を特徴とする 2 つの現実世界のデータセット、NeRFBuster と Free-Dataset 上で CT-NeRF のパフォーマンスを評価します。
結果は、CT-NeRF が新しいビュー合成と姿勢推定精度において既存の方法を上回っていることを示しています。

要約(オリジナル)

Neural radiance field (NeRF) has achieved impressive results in high-quality 3D scene reconstruction. However, NeRF heavily relies on precise camera poses. While recent works like BARF have introduced camera pose optimization within NeRF, their applicability is limited to simple trajectory scenes. Existing methods struggle while tackling complex trajectories involving large rotations. To address this limitation, we propose CT-NeRF, an incremental reconstruction optimization pipeline using only RGB images without pose and depth input. In this pipeline, we first propose a local-global bundle adjustment under a pose graph connecting neighboring frames to enforce the consistency between poses to escape the local minima caused by only pose consistency with the scene structure. Further, we instantiate the consistency between poses as a reprojected geometric image distance constraint resulting from pixel-level correspondences between input image pairs. Through the incremental reconstruction, CT-NeRF enables the recovery of both camera poses and scene structure and is capable of handling scenes with complex trajectories. We evaluate the performance of CT-NeRF on two real-world datasets, NeRFBuster and Free-Dataset, which feature complex trajectories. Results show CT-NeRF outperforms existing methods in novel view synthesis and pose estimation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google