TD-NeRF: Novel Truncated Depth Prior for Joint Camera Pose and Neural Radiance Field Optimization

要約

正確なカメラのポーズへの依存は、3D 再構築および SLAM タスク用の Neural Radiance Fields (NeRF) モデルの広範な導入にとって大きな障壁となっています。
既存の方法では、カメラのポーズと NeRF を共同で最適化するために単眼深度事前分布を導入していますが、深度事前分布を十分に活用できず、固有のノイズの影響が無視されています。
この論文では、放射輝度フィールドとカメラ ポーズの学習可能なパラメータを共同最適化することで、未知のカメラ ポーズから NeRF をトレーニングできる新しいアプローチである Truncated Depth NeRF (TD-NeRF) を提案します。
私たちのアプローチは、3 つの重要な進歩を通じて単眼深度事前分布を明示的に利用しています。1) 切り詰められた正規分布に基づく新しい深度ベースの光線サンプリング戦略を提案します。これにより、姿勢推定の収束速度と精度が向上します。
2) 極小値を回避し、深度ジオメトリを洗練するために、深度の精度を段階的に向上させる粗いトレーニングから細かいトレーニング戦略を導入します。
3) トレーニング中の深度ノイズに対するロバスト性を強化する、よりロバストなフレーム間ポイント制約を提案します。
3 つのデータセットに関する実験結果は、TD-NeRF がカメラ ポーズと NeRF の共同最適化において従来の研究を上回る優れたパフォーマンスを達成し、より正確な深度ジオメトリを生成することを示しています。
私たちのメソッドの実装は https://github.com/nubot-nudt/TD-NeRF でリリースされました。

要約(オリジナル)

The reliance on accurate camera poses is a significant barrier to the widespread deployment of Neural Radiance Fields (NeRF) models for 3D reconstruction and SLAM tasks. The existing method introduces monocular depth priors to jointly optimize the camera poses and NeRF, which fails to fully exploit the depth priors and neglects the impact of their inherent noise. In this paper, we propose Truncated Depth NeRF (TD-NeRF), a novel approach that enables training NeRF from unknown camera poses – by jointly optimizing learnable parameters of the radiance field and camera poses. Our approach explicitly utilizes monocular depth priors through three key advancements: 1) we propose a novel depth-based ray sampling strategy based on the truncated normal distribution, which improves the convergence speed and accuracy of pose estimation; 2) to circumvent local minima and refine depth geometry, we introduce a coarse-to-fine training strategy that progressively improves the depth precision; 3) we propose a more robust inter-frame point constraint that enhances robustness against depth noise during training. The experimental results on three datasets demonstrate that TD-NeRF achieves superior performance in the joint optimization of camera pose and NeRF, surpassing prior works, and generates more accurate depth geometry. The implementation of our method has been released at https://github.com/nubot-nudt/TD-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google