Improving Semantic Correspondence with Viewpoint-Guided Spherical Maps

要約

自己教師あり表現学習の最近の進歩により、画像レベルのエンコードだけでなく、ピクセルレベルのセマンティクスでも効果的な画像特徴を抽出できるモデルが誕生しました。
これらの機能は、緻密な視覚的意味対応推定に効果的であり、完全に教師付きの方法よりも優れていることが示されています。
それにもかかわらず、現在の自己教師ありアプローチは、対称性や繰り返し部分などの困難な画像特性が存在する場合には依然として失敗します。
これらの制限に対処するために、我々は、弱い幾何学的球面事前分布を介して、自己教師ありの識別特徴を 3D 理解で補完する、意味論的対応推定の新しいアプローチを提案します。
より複雑な 3D パイプラインと比較して、私たちのモデルは弱い視点情報のみを必要とし、球面表現の単純さにより、トレーニング中に有益な幾何学的事前分布をモデルに注入することができます。
私たちは、繰り返される部品や対称性に起因するミスをより適切に考慮した新しい評価基準を提案します。
我々は、挑戦的な SPair-71k データセットに関する結果を提示します。そこでは、我々のアプローチが多くのオブジェクト カテゴリにわたって対称ビューと繰り返し部分を区別できることを示し、また、AwA データセット上の目に見えないクラスに一般化できることも示します。

要約(オリジナル)

Recent progress in self-supervised representation learning has resulted in models that are capable of extracting image features that are not only effective at encoding image level, but also pixel-level, semantics. These features have been shown to be effective for dense visual semantic correspondence estimation, even outperforming fully-supervised methods. Nevertheless, current self-supervised approaches still fail in the presence of challenging image characteristics such as symmetries and repeated parts. To address these limitations, we propose a new approach for semantic correspondence estimation that supplements discriminative self-supervised features with 3D understanding via a weak geometric spherical prior. Compared to more involved 3D pipelines, our model only requires weak viewpoint information, and the simplicity of our spherical representation enables us to inject informative geometric priors into the model during training. We propose a new evaluation metric that better accounts for repeated part and symmetry-induced mistakes. We present results on the challenging SPair-71k dataset, where we show that our approach demonstrates is capable of distinguishing between symmetric views and repeated parts across many object categories, and also demonstrate that we can generalize to unseen classes on the AwA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google