Decoupling Features and Coordinates for Few-shot RGB Relocalization

要約

シーン間のモデルの適応は、実際のシナリオでのカメラの再定位にとって非常に重要です。
多くの場合、事前学習済みのモデルを、できるだけ少ないトレーニング サンプルで新しいシーンにすばやく適応させることができます。
ただし、既存の最先端のアプローチでは、画像の特徴抽出とシーン座標回帰が絡み合っているため、このような少数ショットのシーン適応をほとんどサポートできません。
この問題に対処するために、特徴抽出、座標回帰、および姿勢推定が個別に実行される分離ソリューションを使用して、カメラの再局在化に取り組みます。
私たちの重要な洞察は、座標回帰に使用される機能エンコーダーは、一般的な機能表現とより重要なビューに依存しない機能のために複数のシーンから機能エンコーダーが学習されるように、座標系の気を散らす要因を取り除くことによって学習する必要があるということです。
この機能を事前に使用し、座標リグレッサーと組み合わせることで、新しいシーンでの少数ショットの観察は、既存の統合ソリューションを使用した場合よりも 3D 世界との接続がはるかに簡単になります。
実験は、最先端の方法と比較して私たちのアプローチの優位性を示しており、多様な視覚的外観と視点分布を持ついくつかのシーンでより高い精度を生み出しています。

要約(オリジナル)

Cross-scene model adaption is crucial for camera relocalization in real scenarios. It is often preferable that a pre-learned model can be fast adapted to a novel scene with as few training samples as possible. The existing state-of-the-art approaches, however, can hardly support such few-shot scene adaption due to the entangling of image feature extraction and scene coordinate regression. To address this issue, we approach camera relocalization with a decoupled solution where feature extraction, coordinate regression, and pose estimation are performed separately. Our key insight is that feature encoder used for coordinate regression should be learned by removing the distracting factor of coordinate systems, such that feature encoder is learned from multiple scenes for general feature representation and more important, view-insensitive capability. With this feature prior, and combined with a coordinate regressor, few-shot observations in a new scene are much easier to connect with the 3D world than the one with existing integrated solution. Experiments have shown the superiority of our approach compared to the state-of-the-art methods, producing higher accuracy on several scenes with diverse visual appearance and viewpoint distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google