Memory-Assisted Sub-Prototype Mining for Universal Domain Adaptation

要約

ユニバーサル・ドメイン適応は、クラスを整列させ、ソース・ドメインとターゲット・ドメインの同 じカテゴリ間の特徴ギャップを減らすことを目的とする。ターゲット・プライベート・カテゴリは、ソース・ドメインに含まれていないため、適応処理中に未知のクラスとして設定される。しかし、既存の手法の多くは、カテゴリ内のクラス内構造、特に同一カテゴリに属するサンプル間で大きな概念シフトが存在する場合を見落としている。概念シフトが大きいサンプルを無理やり一緒に押し込むと、適応性能に悪影響を及ぼす可能性がある。また、解釈可能性の観点から、戦闘機と民間航空機のような違いが大きい視覚的特徴を同じカテゴリに揃えることは不合理である。残念ながら、このような意味的曖昧性とアノテーションコストのために、カテゴリは必ずしも詳細に分類されず、モデルが的確な適応を行うことを困難にしている。これらの問題に対処するため、我々は、同じカテゴリに属するサンプル間の差異を学習し、それらの間に大きな概念のずれが存在する場合にサブクラスをマイニングすることができる、新しい記憶支援サブプロトタイプマイニング（MemSPM）手法を提案する。そうすることで、我々のモデルは、移植性を高め、同じカテゴリーとして注釈されたサンプル間の固有の違いを反映する、より合理的な特徴空間を学習する。UniDA、OSDA、PDAを含む複数のシナリオにおいて、我々のMemSPM手法の有効性を評価する。我々の手法は、ほとんどの場合において4つのベンチマークで最先端の性能を達成した。

要約(オリジナル)

Universal domain adaptation aims to align the classes and reduce the feature gap between the same category of the source and target domains. The target private category is set as the unknown class during the adaptation process, as it is not included in the source domain. However, most existing methods overlook the intra-class structure within a category, especially in cases where there exists significant concept shift between the samples belonging to the same category. When samples with large concept shift are forced to be pushed together, it may negatively affect the adaptation performance. Moreover, from the interpretability aspect, it is unreasonable to align visual features with significant differences, such as fighter jets and civil aircraft, into the same category. Unfortunately, due to such semantic ambiguity and annotation cost, categories are not always classified in detail, making it difficult for the model to perform precise adaptation. To address these issues, we propose a novel Memory-Assisted Sub-Prototype Mining (MemSPM) method that can learn the differences between samples belonging to the same category and mine sub-classes when there exists significant concept shift between them. By doing so, our model learns a more reasonable feature space that enhances the transferability and reflects the inherent differences among samples annotated as the same category. We evaluate the effectiveness of our MemSPM method over multiple scenarios, including UniDA, OSDA, and PDA. Our method achieves state-of-the-art performance on four benchmarks in most cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL