Neural Refinement for Absolute Pose Regression with Feature Synthesis

要約

絶対姿勢回帰（APR）手法は、ディープニューラルネットワークを使用して、RGB画像からカメラの姿勢を直接回帰する。しかし、優勢なAPRアーキテクチャは、推論中に2D演算に依存するだけであり、3Dジオメトリ制約やプリオールがないため、ポーズ推定の精度に限界がある。本研究では、ロバストな特徴場を用いた暗黙的な幾何学的制約を活用し、推論時に3D情報を利用するAPR手法の能力を強化するテスト時間洗練パイプラインを提案する。また、新しいニューラル特徴合成器（NeFeS）モデルを導入し、学習時に3D幾何学的特徴を符号化し、テスト時に高密度の新しいビュー特徴を直接レンダリングすることで、APR手法を改良する。このモデルの頑健性を高めるために、特徴融合モジュールと漸進的学習戦略を導入する。提案手法は、屋内と屋外のデータセットにおいて、最先端の単一画像APR精度を達成する。

要約(オリジナル)

Absolute Pose Regression (APR) methods use deep neural networks to directly regress camera poses from RGB images. However, the predominant APR architectures only rely on 2D operations during inference, resulting in limited accuracy of pose estimation due to the lack of 3D geometry constraints or priors. In this work, we propose a test-time refinement pipeline that leverages implicit geometric constraints using a robust feature field to enhance the ability of APR methods to use 3D information during inference. We also introduce a novel Neural Feature Synthesizer (NeFeS) model, which encodes 3D geometric features during training and directly renders dense novel view features at test time to refine APR methods. To enhance the robustness of our model, we introduce a feature fusion module and a progressive training strategy. Our proposed method achieves state-of-the-art single-image APR accuracy on indoor and outdoor datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL