Cluster-to-adapt: Few Shot Domain Adaptation for Semantic Segmentation across Disjoint Labels

要約

同じカテゴリからなるデータセット間の意味的セグメンテーションのためのドメイン適応は、最近いくつかの成功例を見てきた。しかし、より一般的なシナリオは、ソースとターゲットのデータセットが重複しないラベル空間に対応する場合である。例えば、セグメンテーションデータセットのカテゴリは、環境やアプリケーションの種類によって大きく変化するが、多くの貴重な意味的関係を共有している。特徴量のアライメントや不一致の最小化に基づく既存のアプローチは、このようなカテゴリの変化を考慮に入れていない。本研究では、全く異なるが関連する可能性のあるカテゴリを持つセグメンテーションデータセット間の領域適応のための計算効率の良いクラスタリングに基づくアプローチであるCluster-to-Adapt (C2A)を紹介する。我々は、変換された特徴空間において強制されるこのようなクラスタリング目的が、無関係なカテゴリに対する負の移転を防止しつつ、目標性能を向上させるために整列可能なソースとターゲットドメイン間のカテゴリを自動的に選択するのに役立つことを示す。我々は、数ショットおよびゼロショット設定でのセマンティックセグメンテーションのための屋外から屋内への適応という困難な問題に対する実験を通して、我々のアプローチの有効性を実証する。

要約(オリジナル)

Domain adaptation for semantic segmentation across datasets consisting of the same categories has seen several recent successes. However, a more general scenario is when the source and target datasets correspond to non-overlapping label spaces. For example, categories in segmentation datasets change vastly depending on the type of environment or application, yet share many valuable semantic relations. Existing approaches based on feature alignment or discrepancy minimization do not take such category shift into account. In this work, we present Cluster-to-Adapt (C2A), a computationally efficient clustering-based approach for domain adaptation across segmentation datasets with completely different, but possibly related categories. We show that such a clustering objective enforced in a transformed feature space serves to automatically select categories across source and target domains that can be aligned for improving the target performance, while preventing negative transfer for unrelated categories. We demonstrate the effectiveness of our approach through experiments on the challenging problem of outdoor to indoor adaptation for semantic segmentation in few-shot as well as zero-shot settings, with consistent improvements in performance over existing approaches and baselines in all cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL