Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images

要約

セマンティック対応方法は、モデルの能力を最大化することを目的として、複雑なネットワークを使用して高品質の対応を取得するように進歩しました。
ただし、パフォーマンスが向上したにもかかわらず、トレーニング画像の制限とキーポイントの希薄さの結果、トレーニング キーポイント ペアの不足によって制約が残る可能性があります。
この論文は、意味論的対応関係の学習には本質的にデータを必要とする問題があるという仮説に基づいて構築されており、高密度化されたトレーニング ペアを採用することでモデルをさらにトレーニングできることを明らかにしています。
私たちは、単純なマシン アノテーターがマシンの監視を通じてペアのキー ポイントを確実に強化することを実証します。追加のラベル付きキー ポイントも、ラベルのない画像からのトレーニング可能なモジュールも必要ありません。
その結果、私たちのモデルは、SPair-71k、PF-PASCAL、PF-WILLOW などのセマンティック対応学習ベンチマークで現在の最先端のモデルを上回り、破損ベンチマークでさらなる堅牢性を享受できます。
私たちのコードは https://github.com/naver-ai/matchme で入手できます。

要約(オリジナル)

Semantic correspondence methods have advanced to obtaining high-quality correspondences employing complicated networks, aiming to maximize the model capacity. However, despite the performance improvements, they may remain constrained by the scarcity of training keypoint pairs, a consequence of the limited training images and the sparsity of keypoints. This paper builds on the hypothesis that there is an inherent data-hungry matter in learning semantic correspondences and uncovers the models can be more trained by employing densified training pairs. We demonstrate a simple machine annotator reliably enriches paired key points via machine supervision, requiring neither extra labeled key points nor trainable modules from unlabeled images. Consequently, our models surpass current state-of-the-art models on semantic correspondence learning benchmarks like SPair-71k, PF-PASCAL, and PF-WILLOW and enjoy further robustness on corruption benchmarks. Our code is available at https://github.com/naver-ai/matchme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google