Refinement for Absolute Pose Regression with Neural Feature Synthesis

要約

絶対姿勢回帰 (APR) メソッドは、ディープ ニューラル ネットワークを使用して、RGB 画像からカメラの姿勢を直接回帰します。
これらの方法は、推論の速度と単純さの点で優れているにもかかわらず、ジオメトリ ベースの手法で達成される精度にはまだ達していません。
この問題に対処するために、Neural Feature Synthesizer (NeFeS) と呼ばれる新しいモデルを提案します。
私たちのアプローチは、トレーニング中に 3D 幾何学的特徴をエンコードし、テスト時に高密度の新規ビュー特徴をレンダリングして、任意の APR メソッドから推定されたカメラ ポーズを改良します。
追加のラベル付けされていないトレーニング データを必要とする以前の APR 作業とは異なり、この方法では、堅牢な特徴フィールドを使用して、テスト時に暗黙的な幾何学的制約を利用します。
NeFeS ネットワークの堅牢性を強化するために、機能融合モジュールと漸進的なトレーニング戦略を導入しています。
私たちが提案する方法は、追加の時間のかかるラベルなしデータ トレーニングなしで、屋内および屋外のベンチマーク データセットで最先端の単一画像 APR 精度を 54.9% も向上させます。

要約(オリジナル)

Absolute Pose Regression (APR) methods use deep neural networks to directly regress camera poses from RGB images. Despite their advantages in inference speed and simplicity, these methods still fall short of the accuracy achieved by geometry-based techniques. To address this issue, we propose a new model called the Neural Feature Synthesizer (NeFeS). Our approach encodes 3D geometric features during training and renders dense novel view features at test time to refine estimated camera poses from arbitrary APR methods. Unlike previous APR works that require additional unlabeled training data, our method leverages implicit geometric constraints during test time using a robust feature field. To enhance the robustness of our NeFeS network, we introduce a feature fusion module and a progressive training strategy. Our proposed method improves the state-of-the-art single-image APR accuracy by as much as 54.9% on indoor and outdoor benchmark datasets without additional time-consuming unlabeled data training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google