Extreme Rotation Estimation in the Wild

要約

我々は、画像の視野が限られている、または重複していない極端な設定で撮影された 2 つのインターネット画像の間の相対的な 3D 方向を推定するための手法とベンチマーク データセットを紹介します。
極端な回転推定を対象とした以前の研究では、制約された 3D 環境を想定し、パノラマ ビューから領域をトリミングすることによって透視画像をエミュレートしました。
ただし、自然の中で撮影された実際の画像は非常に多様であり、外観とカメラの本質の両方にばらつきがあります。
この研究では、極端な現実世界の設定で相対回転を推定するための Transformer ベースの方法を提案し、シーンレベルのインターネット写真コレクションから組み立てられた ExtremeLandmarkPairs データセットを提供します。
私たちの評価は、私たちのアプローチが、さまざまな極端ビューのインターネット画像ペアの相対回転を推定することに成功し、専用の回転推定技術や最新の 3D 再構成手法を含むさまざまなベースラインを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

We present a technique and benchmark dataset for estimating the relative 3D orientation between a pair of Internet images captured in an extreme setting, where the images have limited or non-overlapping field of views. Prior work targeting extreme rotation estimation assume constrained 3D environments and emulate perspective images by cropping regions from panoramic views. However, real images captured in the wild are highly diverse, exhibiting variation in both appearance and camera intrinsics. In this work, we propose a Transformer-based method for estimating relative rotations in extreme real-world settings, and contribute the ExtremeLandmarkPairs dataset, assembled from scene-level Internet photo collections. Our evaluation demonstrates that our approach succeeds in estimating the relative rotations in a wide variety of extreme-view Internet image pairs, outperforming various baselines, including dedicated rotation estimation techniques and contemporary 3D reconstruction methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google