Learning Semantic Correspondence with Sparse Annotations

要約

密なセマンティック対応を見つけることは、コンピューター ビジョンの基本的な問題であり、複雑なシーンでは、背景の乱雑さ、極度のクラス内変動、およびグラウンド トゥルースの深刻な欠如のために依然として困難です。
この論文では、スパースキーポイントアノテーションからの監視信号を強化することにより、セマンティック対応におけるラベルスパース性の課題に対処することを目的としています。
この目的のために、最初に密な疑似ラベルを生成するための教師と生徒の学習パラダイムを提案し、次に疑似ラベルのノイズを除去するための2つの新しい戦略を開発します。
特に、疎な注釈の周りに空間事前分布を使用して、ノイズの多い疑似ラベルを抑制します。
さらに、ラベルのノイズ除去のための損失駆動型の動的ラベル選択戦略を導入します。
私たちは、学習戦略の 2 つのバリアントでパラダイムをインスタンス化します。単一のオフライン教師設定と相互オンライン教師設定です。
私たちのアプローチは、セマンティック対応の 3 つの挑戦的なベンチマークで顕著な改善を達成し、新しい最先端技術を確立します。
プロジェクト ページ: https://shuaiyihuang.github.io/publications/SCorrSAN。

要約(オリジナル)

Finding dense semantic correspondence is a fundamental problem in computer vision, which remains challenging in complex scenes due to background clutter, extreme intra-class variation, and a severe lack of ground truth. In this paper, we aim to address the challenge of label sparsity in semantic correspondence by enriching supervision signals from sparse keypoint annotations. To this end, we first propose a teacher-student learning paradigm for generating dense pseudo-labels and then develop two novel strategies for denoising pseudo-labels. In particular, we use spatial priors around the sparse annotations to suppress the noisy pseudo-labels. In addition, we introduce a loss-driven dynamic label selection strategy for label denoising. We instantiate our paradigm with two variants of learning strategies: a single offline teacher setting, and mutual online teachers setting. Our approach achieves notable improvements on three challenging benchmarks for semantic correspondence and establishes the new state-of-the-art. Project page: https://shuaiyihuang.github.io/publications/SCorrSAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google