Parallel Inversion of Neural Radiance Fields for Robust Pose Estimation

要約

オブジェクトまたはシーンに対するカメラの 6-DoF ポーズを推定するための高速ニューラル ラジアンス フィールド (NeRF) に基づく並列化された最適化手法を提示します。
ターゲットの 1 つの観察された RGB 画像が与えられた場合、高速 NeRF モデルからレンダリングされたピクセルと観察された画像内のピクセルとの間の残差を最小限に抑えることで、カメラの平行移動と回転を予測できます。
運動量ベースのカメラの外部最適化手順を、最近の非常に高速な NeRF 実装である Instant Neural Graphics Primitives に統合します。
姿勢推定タスクに並列モンテカルロ サンプリングを導入することにより、本手法は極小値を克服し、より広範な検索空間での効率を向上させます。
また、エラーを減らすために、より堅牢なピクセルベースの損失関数を採用することの重要性も示しています。
実験は、私たちの方法が合成ベンチマークと現実世界のベンチマークの両方で改善された一般化と堅牢性を達成できることを示しています。

要約(オリジナル)

We present a parallelized optimization method based on fast Neural Radiance Fields (NeRF) for estimating 6-DoF pose of a camera with respect to an object or scene. Given a single observed RGB image of the target, we can predict the translation and rotation of the camera by minimizing the residual between pixels rendered from a fast NeRF model and pixels in the observed image. We integrate a momentum-based camera extrinsic optimization procedure into Instant Neural Graphics Primitives, a recent exceptionally fast NeRF implementation. By introducing parallel Monte Carlo sampling into the pose estimation task, our method overcomes local minima and improves efficiency in a more extensive search space. We also show the importance of adopting a more robust pixel-based loss function to reduce error. Experiments demonstrate that our method can achieve improved generalization and robustness on both synthetic and real-world benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google