Demystifying Unsupervised Semantic Correspondence Estimation

要約

教師なし学習のレンズを通して意味的対応推定を探求します。
バックボーンアーキテクチャ、事前トレーニング戦略、事前トレーニングおよび微調整データセットなどの要素を変化させる標準化された評価プロトコルを使用して、複数の挑戦的なデータセットにわたって最近提案されたいくつかの教師なし方法を徹底的に評価します。
これらのメソッドの失敗モードをよりよく理解し、改善のためのより明確なパスを提供するために、セマンティックマッチングタスクにより適した新しいパフォーマンスメトリックとともに新しい診断フレームワークを提供します。
最後に、事前にトレーニングされた機能の強度を活用しながら、トレーニング中のより良い一致を促進する、新しい教師なし対応アプローチを紹介します。
これにより、現在の最先端の方法と比較して、マッチングパフォーマンスが大幅に向上します。

要約(オリジナル)

We explore semantic correspondence estimation through the lens of unsupervised learning. We thoroughly evaluate several recently proposed unsupervised methods across multiple challenging datasets using a standardized evaluation protocol where we vary factors such as the backbone architecture, the pre-training strategy, and the pre-training and finetuning datasets. To better understand the failure modes of these methods, and in order to provide a clearer path for improvement, we provide a new diagnostic framework along with a new performance metric that is better suited to the semantic matching task. Finally, we introduce a new unsupervised correspondence approach which utilizes the strength of pre-trained features while encouraging better matches during training. This results in significantly better matching performance compared to current state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google