The 8-Point Algorithm as an Inductive Bias for Relative Pose Prediction by ViTs

要約

2 つの画像間の相対的な姿勢 (スケールを含む回転と平行移動) を直接推定するための単純なベースラインを提示します。
ディープ メソッドは最近大きな進歩を遂げていますが、多くの場合、複雑な、または多段階のアーキテクチャが必要です。
ビジョン トランスフォーマー (ViT) にいくつかの変更を適用して、その計算をエイトポイント アルゴリズムに近づけることができることを示します。
この誘導バイアスにより、単純な方法が複数の設定で競争できるようになり、多くの場合、限られたデータ体制で強力なパフォーマンスの向上により、最先端の技術を大幅に改善します。

要約(オリジナル)

We present a simple baseline for directly estimating the relative pose (rotation and translation, including scale) between two images. Deep methods have recently shown strong progress but often require complex or multi-stage architectures. We show that a handful of modifications can be applied to a Vision Transformer (ViT) to bring its computations close to the Eight-Point Algorithm. This inductive bias enables a simple method to be competitive in multiple settings, often substantially improving over the state of the art with strong performance gains in limited data regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google