The 8-Point Algorithm as an Inductive Bias for Relative Pose Prediction by ViTs

要約

2 つの画像間の相対的な姿勢 (スケールを含む回転と平行移動) を直接推定するための単純なベースラインを提示します。
ディープ メソッドは最近大きな進歩を遂げていますが、多くの場合、複雑な、または多段階のアーキテクチャが必要です。
ビジョン トランスフォーマー (ViT) にいくつかの変更を適用して、その計算をエイトポイント アルゴリズムに近づけることができることを示します。
この誘導バイアスにより、単純な方法が複数の設定で競争できるようになり、多くの場合、限られたデータ体制で強力なパフォーマンスの向上により、最先端の技術を大幅に改善します。

要約(オリジナル)

We present a simple baseline for directly estimating the relative pose (rotation and translation, including scale) between two images. Deep methods have recently shown strong progress but often require complex or multi-stage architectures. We show that a handful of modifications can be applied to a Vision Transformer (ViT) to bring its computations close to the Eight-Point Algorithm. This inductive bias enables a simple method to be competitive in multiple settings, often substantially improving over the state of the art with strong performance gains in limited data regimes.

arxiv情報

著者 Chris Rockwell,Justin Johnson,David F. Fouhey
発行日 2023-01-24 03:33:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク