ScaleNet: A Shallow Architecture for Scale Estimation

要約

本論文では，画像間のスケールファクターを推定する問題に取り組む．我々はスケール推定問題を、スケールファクターに対する確率分布の予測として定式化する。我々は、画像間のスケールを予測するために、自己相関層と相互相関層だけでなく、拡張畳み込みを利用した新しいアーキテクチャであるScaleNetを設計する。我々は、推定されたスケールを用いて画像を整流することで、様々なタスクや手法において大幅な性能向上が得られることを実証する。特に、ScaleNetを疎な局所特徴や密な対応ネットワークと組み合わせることで、様々なベンチマークやデータセットにおいて、カメラの姿勢推定、3D再構成、密な幾何学的マッチングをどのように改善できるかを示している。我々は、いくつかのタスクに関する広範な評価を提供し、ScaleNetの計算オーバーヘッドを分析する。コード、評価プロトコル、学習済みモデルは、https://github.com/axelBarroso/ScaleNet で一般に公開されています。

要約(オリジナル)

In this paper, we address the problem of estimating scale factors between images. We formulate the scale estimation problem as a prediction of a probability distribution over scale factors. We design a new architecture, ScaleNet, that exploits dilated convolutions as well as self and cross-correlation layers to predict the scale between images. We demonstrate that rectifying images with estimated scales leads to significant performance improvements for various tasks and methods. Specifically, we show how ScaleNet can be combined with sparse local features and dense correspondence networks to improve camera pose estimation, 3D reconstruction, or dense geometric matching in different benchmarks and datasets. We provide an extensive evaluation on several tasks and analyze the computational overhead of ScaleNet. The code, evaluation protocols, and trained models are publicly available at https://github.com/axelBarroso/ScaleNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL