NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior

要約

事前に計算されたカメラ ポーズなしで Neural Radiance Field (NeRF) をトレーニングするのは困難です。
この方向の最近の進歩は、前向きのシーンで NeRF とカメラのポーズを共同で最適化する可能性を示しています。
ただし、これらの方法は、劇的なカメラの動きの間はまだ困難に直面しています。
歪みのない単眼深度プライアを組み込むことにより、この困難な問題に取り組みます。
これらの事前分布は、トレーニング中にスケールとシフトのパラメーターを修正することによって生成されます。これにより、連続するフレーム間の相対的なポーズを制約することができます。
この制約は、提案された新しい損失関数を使用して達成されます。
実世界の屋内および屋外シーンでの実験は、私たちの方法が困難なカメラの軌跡を処理でき、新しいビューレンダリング品質とポーズ推定精度の点で既存の方法よりも優れていることを示しています。

要約(オリジナル)

Training a Neural Radiance Field (NeRF) without pre-computed camera poses is challenging. Recent advances in this direction demonstrate the possibility of jointly optimising a NeRF and camera poses in forward-facing scenes. However, these methods still face difficulties during dramatic camera movement. We tackle this challenging problem by incorporating undistorted monocular depth priors. These priors are generated by correcting scale and shift parameters during training, with which we are then able to constrain the relative poses between consecutive frames. This constraint is achieved using our proposed novel loss functions. Experiments on real-world indoor and outdoor scenes show that our method can handle challenging camera trajectories and outperforms existing methods in terms of novel view rendering quality and pose estimation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google