Improving Semantic Correspondence with Viewpoint-Guided Spherical Maps

要約

最近の自己教師付き表現学習の進歩により、画像レベルだけでなく画素レベルの意味も符号化するのに有効な画像特徴を抽出できるモデルが開発されている。これらの特徴量は、高密度の視覚的意味対応推定に有効であることが示されており、完全教師あり手法を凌駕することさえある。とはいえ、現在の自己教師付きアプローチは、対称性や繰り返し部分のような困難な画像特性の存在下ではまだ失敗する。これらの限界に対処するため、我々は、弱い幾何学的球面事前分布を介した3D理解により、識別可能な自己教師特徴を補足する、意味的対応関係推定のための新しいアプローチを提案する。より複雑な3Dパイプラインと比較して、我々のモデルは弱い視点情報のみを必要とし、我々の球面表現の単純さにより、学習中に有益な幾何学的事前分布をモデルに注入することが可能となる。繰り返し部分や対称性に起因するミスをよりよく考慮した新しい評価指標を提案する。難易度の高いSPair-71kデータセットでの結果を示し、我々のアプローチが、多くのオブジェクトカテゴリにおいて、対称的な視点と繰り返し部分を区別できることを示すとともに、AwAデータセットにおいて、未知のクラスへの汎化が可能であることを示す。

要約(オリジナル)

Recent progress in self-supervised representation learning has resulted in models that are capable of extracting image features that are not only effective at encoding image level, but also pixel-level, semantics. These features have been shown to be effective for dense visual semantic correspondence estimation, even outperforming fully-supervised methods. Nevertheless, current self-supervised approaches still fail in the presence of challenging image characteristics such as symmetries and repeated parts. To address these limitations, we propose a new approach for semantic correspondence estimation that supplements discriminative self-supervised features with 3D understanding via a weak geometric spherical prior. Compared to more involved 3D pipelines, our model only requires weak viewpoint information, and the simplicity of our spherical representation enables us to inject informative geometric priors into the model during training. We propose a new evaluation metric that better accounts for repeated part and symmetry-induced mistakes. We present results on the challenging SPair-71k dataset, where we show that our approach demonstrates is capable of distinguishing between symmetric views and repeated parts across many object categories, and also demonstrate that we can generalize to unseen classes on the AwA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL