Extreme Rotation Estimation in the Wild

要約

極端な設定でキャプチャされたインターネット画像のペア間の相対的な3D方向を推定するための手法とベンチマークデータセットを提示します。そこでは、画像が限られているか、重複していないビューのフィールドがあります。
極端な回転の推定をターゲットにした以前の作業は、抑制された3D環境を想定し、パノラマビューから領域をトリミングすることで視点画像をエミュレートします。
しかし、野生でキャプチャされた実際の画像は非常に多様であり、外観とカメラの内因性の両方に変動を示しています。
この作業では、極端な現実世界の設定で相対的な回転を推定するための変圧器ベースの方法を提案し、シーンレベルのインターネット写真コレクションから組み立てられたExtremelandMarkpairsデータセットを貢献します。
私たちの評価は、私たちのアプローチが、多種多様な極端な視聴インターネット画像ペアで相対的な回転を推定し、専用の回転推定技術や現代の3D再建方法を含むさまざまなベースラインを上回ることに成功したことを示しています。

要約(オリジナル)

We present a technique and benchmark dataset for estimating the relative 3D orientation between a pair of Internet images captured in an extreme setting, where the images have limited or non-overlapping field of views. Prior work targeting extreme rotation estimation assume constrained 3D environments and emulate perspective images by cropping regions from panoramic views. However, real images captured in the wild are highly diverse, exhibiting variation in both appearance and camera intrinsics. In this work, we propose a Transformer-based method for estimating relative rotations in extreme real-world settings, and contribute the ExtremeLandmarkPairs dataset, assembled from scene-level Internet photo collections. Our evaluation demonstrates that our approach succeeds in estimating the relative rotations in a wide variety of extreme-view Internet image pairs, outperforming various baselines, including dedicated rotation estimation techniques and contemporary 3D reconstruction methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google