Probabilistic Warp Consistency for Weakly-Supervised Semantic Correspondences

要約

私たちは、意味的マッチングのための弱教師学習目標である確率的ワープ一貫性を提案します。
私たちのアプローチは、条件付き確率分布としてエンコードされた、ネットワークによって予測された密なマッチング スコアを直接監視します。
まず、同じオブジェクト クラスの異なるインスタンスを表すペアの画像の 1 つに既知のワープを適用して、画像の 3 つ組を構築します。
次に、結果として得られる画像 3 要素から生じる制約を使用して、確率的学習目標が導出されます。
さらに、確率的出力空間を学習可能な不一致状態で拡張することにより、実際の画像ペアに存在するオクルージョンと背景のクラッターを考慮します。
それを監視するために、異なるオブジェクトクラスを表す画像ペア間の対物レンズを設計します。
私たちは、最近の 4 つのセマンティック マッチング アーキテクチャにこの方法を適用することで、この方法を検証します。
私たちの弱く監視されたアプローチは、4 つの困難なセマンティック マッチング ベンチマークで新しい最先端を確立します。
最後に、私たちの目的は、キーポイントの注釈と組み合わせることで、強力に監視された体制にも大幅な改善をもたらすことを示します。

要約(オリジナル)

We propose Probabilistic Warp Consistency, a weakly-supervised learning objective for semantic matching. Our approach directly supervises the dense matching scores predicted by the network, encoded as a conditional probability distribution. We first construct an image triplet by applying a known warp to one of the images in a pair depicting different instances of the same object class. Our probabilistic learning objectives are then derived using the constraints arising from the resulting image triplet. We further account for occlusion and background clutter present in real image pairs by extending our probabilistic output space with a learnable unmatched state. To supervise it, we design an objective between image pairs depicting different object classes. We validate our method by applying it to four recent semantic matching architectures. Our weakly-supervised approach sets a new state-of-the-art on four challenging semantic matching benchmarks. Lastly, we demonstrate that our objective also brings substantial improvements in the strongly-supervised regime, when combined with keypoint annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google