Graph-CoVis: GNN-based Multi-view Panorama Global Pose Estimation

要約

タイトル：Graph-CoVis: GNNベースのマルチビューパノラマグローバルポーズ推定
要約：
– 本研究では、アップライトカメラ仮定下での360度パノラマのグループから広いベースラインのカメラポーズ推定の問題に取り組みます。
– 最近の研究では、360度パノラマのペアの相対姿勢をエンドツーエンドの直接的な回帰でディープラーニングで示すことのメリットが示されています。
– 学習ベースのフレームワークでマルチビューロジックの利点を活用するために、2つのビューから相対姿勢を推定するCoVisPose [11]を相対的に拡張したグローバルマルチビュースフェリカメラポーズ推定のGraph-CoVisを紹介します。
– Graph-CoVisは、共通の見える構造とグローバルモーションをエンドツーエンドで完全に教師ありの方法で共同学習する新しいグラフニューラルネットワークアーキテクチャです。
– 広いベースライン、遮蔽、限られた視覚的オーバーラップがある実際の家を特徴とするZInD [4]データセットを使用して、当社のモデルが最先端のアプローチと競争力があることを示します。

要約(オリジナル)

In this paper, we address the problem of wide-baseline camera pose estimation from a group of 360$^\circ$ panoramas under upright-camera assumption. Recent work has demonstrated the merit of deep-learning for end-to-end direct relative pose regression in 360$^\circ$ panorama pairs [11]. To exploit the benefits of multi-view logic in a learning-based framework, we introduce Graph-CoVis, which non-trivially extends CoVisPose [11] from relative two-view to global multi-view spherical camera pose estimation. Graph-CoVis is a novel Graph Neural Network based architecture that jointly learns the co-visible structure and global motion in an end-to-end and fully-supervised approach. Using the ZInD [4] dataset, which features real homes presenting wide-baselines, occlusion, and limited visual overlap, we show that our model performs competitively to state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI