PoserNet: Refining Relative Camera Poses Exploiting Object Detections

要約

一連の画像に関連付けられたカメラポーズの推定は、通常、画像間の特徴の一致に依存します。
対照的に、明示的なセマンティックオブジェクト検出ではなく、オブジェクトネス領域を使用してポーズ推定問題をガイドすることにより、この課題に最初に対処しました。
ポーズリファイナーネットワーク（PoserNet）を提案し、おおよそのペアワイズ相対カメラポーズをリファインするための軽量グラフニューラルネットワークを提案します。
PoserNetは、複数のビューにまたがるオブジェクト性領域（バウンディングボックスとして簡潔に表現）間の関連付けを活用して、まばらに接続されたビューグラフをグローバルに改良します。
さまざまなサイズのグラフにわたる7シーンのデータセットを評価し、このプロセスが、バウンディングボックスに基づいて取得された初期推定値に対して、回転の中央値エラーを62度改善する最適化ベースのモーション平均化アルゴリズムにどのように役立つかを示します。
コードとデータはhttps://github.com/IIT-PAVIS/PoserNetで入手できます。

要約(オリジナル)

The estimation of the camera poses associated with a set of images commonly relies on feature matches between the images. In contrast, we are the first to address this challenge by using objectness regions to guide the pose estimation problem rather than explicit semantic object detections. We propose Pose Refiner Network (PoserNet) a light-weight Graph Neural Network to refine the approximate pair-wise relative camera poses. PoserNet exploits associations between the objectness regions – concisely expressed as bounding boxes – across multiple views to globally refine sparsely connected view graphs. We evaluate on the 7-Scenes dataset across varied sizes of graphs and show how this process can be beneficial to optimisation-based Motion Averaging algorithms improving the median error on the rotation by 62 degrees with respect to the initial estimates obtained based on bounding boxes. Code and data are available at https://github.com/IIT-PAVIS/PoserNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google