iMatching: Imperative Correspondence Learning

要約

特徴の対応関係の学習はコンピュータ ビジョンの基礎的なタスクであり、ビジュアル オドメトリや 3D 再構成などの下流アプリケーションにとって非常に重要です。
データ駆動型モデルの最近の進歩にも関わらず、正確なピクセルごとの対応ラベルが不足しているため、特徴対応学習は依然として制限されています。
この困難を克服するために、特徴の対応をトレーニングするための新しい自己教師ありスキームである命令型学習 (IL) を導入します。
これにより、カメラのポーズや深度ラベルを使用せずに、任意の中断のないビデオでの通信学習が可能になり、自己教師ありの通信学習の新時代の到来を告げます。
具体的には、対応学習の問題をバイレベル最適化として定式化し、バンドル調整からの再投影誤差をモデルの監視信号として受け取ります。
大きなメモリと計算のオーバーヘッドを回避するために、固定点を利用して、バンドル調整を通じて陰的勾配を効果的に逆伝播します。
広範な実験を通じて、特徴マッチングや姿勢推定などのタスクで優れたパフォーマンスを実証し、最先端のマッチング モデルと比較して平均 30% の精度向上が得られました。
このプレプリントは、欧州コンピュータ ビジョン会議 (ECCV) 2024 の受理原稿に対応しています。

要約(オリジナル)

Learning feature correspondence is a foundational task in computer vision, holding immense importance for downstream applications such as visual odometry and 3D reconstruction. Despite recent progress in data-driven models, feature correspondence learning is still limited by the lack of accurate per-pixel correspondence labels. To overcome this difficulty, we introduce a new self-supervised scheme, imperative learning (IL), for training feature correspondence. It enables correspondence learning on arbitrary uninterrupted videos without any camera pose or depth labels, heralding a new era for self-supervised correspondence learning. Specifically, we formulated the problem of correspondence learning as a bilevel optimization, which takes the reprojection error from bundle adjustment as a supervisory signal for the model. To avoid large memory and computation overhead, we leverage the stationary point to effectively back-propagate the implicit gradients through bundle adjustment. Through extensive experiments, we demonstrate superior performance on tasks including feature matching and pose estimation, in which we obtained an average of 30% accuracy gain over the state-of-the-art matching models. This preprint corresponds to the Accepted Manuscript in European Conference on Computer Vision (ECCV) 2024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google