Camera Pose Auto-Encoders for Improving Pose Regression

要約

絶対ポーズリグレッサ（APR）ネットワークは、キャプチャされた画像が与えられたときにカメラのポーズを推定するようにトレーニングされています。
それらは、カメラの位置と向きが回帰される潜像表現を計算します。
APRは、最先端の精度を提供する構造ベースのローカリゼーションスキームと比較して、ローカリゼーションの精度、ランタイム、およびメモリの間で異なるトレードオフを提供します。
この作業では、APRを教師として使用してカメラのポーズをエンコードするために、教師と生徒のアプローチによってトレーニングされる多層パーセプトロンであるカメラポーズオートエンコーダー（PAE）を紹介します。
結果として得られる潜在的なポーズ表現がAPRのパフォーマンスを厳密に再現し、関連するタスクに対するそれらの有効性を実証できることを示します。
具体的には、最も近い列車のポーズがエンコードされ、カメラの位置推定を改善するために使用される、軽量のテスト時間の最適化を提案します。
この手順により、CambridgeLandmarksベンチマークと7Scenesベンチマークの両方で、APRの新しい最先端の位置精度が実現されます。
また、学習したポーズエンコーディングから列車の画像を再構築できることを示し、列車セットからの視覚情報を低メモリコストで統合するための道を開きます。
コードと事前トレーニング済みモデルは、https：//github.com/yolish/camera-pose-auto-encodersで入手できます。

要約(オリジナル)

Absolute pose regressor (APR) networks are trained to estimate the pose of the camera given a captured image. They compute latent image representations from which the camera position and orientation are regressed. APRs provide a different tradeoff between localization accuracy, runtime, and memory, compared to structure-based localization schemes that provide state-of-the-art accuracy. In this work, we introduce Camera Pose Auto-Encoders (PAEs), multilayer perceptrons that are trained via a Teacher-Student approach to encode camera poses using APRs as their teachers. We show that the resulting latent pose representations can closely reproduce APR performance and demonstrate their effectiveness for related tasks. Specifically, we propose a light-weight test-time optimization in which the closest train poses are encoded and used to refine camera position estimation. This procedure achieves a new state-of-the-art position accuracy for APRs, on both the CambridgeLandmarks and 7Scenes benchmarks. We also show that train images can be reconstructed from the learned pose encoding, paving the way for integrating visual information from the train set at a low memory cost. Our code and pre-trained models are available at https://github.com/yolish/camera-pose-auto-encoders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google