Semantic Correspondence: Unified Benchmarking and a Strong Baseline

要約

セマンティック対応を確立することは、キーポイントを異なる画像間で同じセマンティック情報と一致させることを目指して、コンピュータービジョンにおける挑戦的なタスクです。
深い学習の急速な発展の恩恵を受けて、過去10年間で顕著な進歩が遂げられてきました。
ただし、このタスクの包括的なレビューと分析には不在のままです。
この論文では、セマンティック対応方法の最初の広範な調査を紹介します。
最初に、メソッド設計のタイプに基づいて既存のメソッドを分類するための分類法を提案します。
これらの方法はそれに応じて分類され、各アプローチの詳細な分析を提供します。
さらに、パフォーマンスのバリエーションを強調するための詳細な構成を備えた、さまざまなベンチマークを越えた文献のメソッドの結果を統一された比較表に集約して要約します。
さらに、セマンティックマッチングの既存の方法に関する詳細な理解を提供するために、さまざまな方法のコンポーネントの有効性を分析するために、制御された実験を徹底的に実施します。
最後に、複数のベンチマークで最先端のパフォーマンスを達成するシンプルで効果的なベースラインを提案し、この分野での将来の研究のための強固な基盤を提供します。
この調査が、将来の開発のための包括的な参照および統合ベースラインとして機能することを願っています。
コードは、https：//github.com/visual-ai/semantic-corrypondenceで公開されています。

要約(オリジナル)

Establishing semantic correspondence is a challenging task in computer vision, aiming to match keypoints with the same semantic information across different images. Benefiting from the rapid development of deep learning, remarkable progress has been made over the past decade. However, a comprehensive review and analysis of this task remains absent. In this paper, we present the first extensive survey of semantic correspondence methods. We first propose a taxonomy to classify existing methods based on the type of their method designs. These methods are then categorized accordingly, and we provide a detailed analysis of each approach. Furthermore, we aggregate and summarize the results of methods in literature across various benchmarks into a unified comparative table, with detailed configurations to highlight performance variations. Additionally, to provide a detailed understanding on existing methods for semantic matching, we thoroughly conduct controlled experiments to analyse the effectiveness of the components of different methods. Finally, we propose a simple yet effective baseline that achieves state-of-the-art performance on multiple benchmarks, providing a solid foundation for future research in this field. We hope this survey serves as a comprehensive reference and consolidated baseline for future development. Code is publicly available at: https://github.com/Visual-AI/Semantic-Correspondence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google