NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior

要約

【タイトル】Pose Priorを使わずにNeRFを最適化するNoPe-NeRF

【要約】
– Camera poseを事前に計算せずにNeural Radiance Field（NeRF）をトレーニングするのは難しい。
– 一方で、前向きのシーンでNeRFとcamera poseを同時に最適化することで前進した研究結果があるが、大きなカメラの動きではまだ困難がある。
– 本論文では、歪みのない単眼深度の先行事例を取り入れることによって、この問題に取り組んでいる。
– トレーニング中にスケールとシフトパラメーターを修正して生成されたこれらの優先事項により、連続的なフレーム間の相対的な姿勢を制御できる。
– 提案された新しい損失関数を使用することで、この制約を達成する。
– 実世界の屋内および屋外シーンでの実験の結果、提案手法は大きなカメラ軌道に対処でき、新しい視点レンダリング品質と姿勢推定精度の両方で既存の方法を上回ることが示された。
– プロジェクトページ：https://nope-nerf.active.vision/

要約(オリジナル)

Training a Neural Radiance Field (NeRF) without pre-computed camera poses is challenging. Recent advances in this direction demonstrate the possibility of jointly optimising a NeRF and camera poses in forward-facing scenes. However, these methods still face difficulties during dramatic camera movement. We tackle this challenging problem by incorporating undistorted monocular depth priors. These priors are generated by correcting scale and shift parameters during training, with which we are then able to constrain the relative poses between consecutive frames. This constraint is achieved using our proposed novel loss functions. Experiments on real-world indoor and outdoor scenes show that our method can handle challenging camera trajectories and outperforms existing methods in terms of novel view rendering quality and pose estimation accuracy. Our project page is https://nope-nerf.active.vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI