Memory-Assisted Sub-Prototype Mining for Universal Domain Adaptation

要約

ユニバーサル ドメイン アダプテーションは、クラスを調整し、ソース ドメインとターゲット ドメインの同じカテゴリ間の機能のギャップを減らすことを目的としています。
ターゲットのプライベート カテゴリは、ソース ドメインに含まれないため、適応プロセス中に不明なクラスとして設定されます。
しかし、既存の手法のほとんどは、特に同じカテゴリに属する​​サンプル間に大きな概念の変化が存在する場合、カテゴリ内のクラス内構造を見落としています。
大きなコンセプトシフトを持つサンプルを強制的に一緒に押し込むと、適応パフォーマンスに悪影響を及ぼす可能性があります。
さらに、解釈可能性の観点から、戦闘機と民間航空機のように、大きな違いがある視覚的特徴を同じカテゴリに並べることは不合理です。
残念ながら、このような意味上の曖昧さとアノテーションのコストにより、カテゴリは必ずしも詳細に分類されるわけではなく、モデルが正確な適応を実行することが困難になります。
これらの問題に対処するために、同じカテゴリに属する​​サンプル間の違いを学習し、サブクラス間に大きな概念の変化が存在する場合にサブクラスをマイニングできる、新しいメモリ支援サブプロトタイプ マイニング (MemSPM) 手法を提案します。
そうすることで、モデルは、転送可能性を高め、同じカテゴリとしてアノテーションが付けられたサンプル間の固有の違いを反映する、より合理的な特徴空間を学習します。
UniDA、OSDA、PDA などの複数のシナリオにわたって MemSPM 手法の有効性を評価します。
私たちの手法は、ほとんどの場合、4 つのベンチマークで最先端のパフォーマンスを達成します。

要約(オリジナル)

Universal domain adaptation aims to align the classes and reduce the feature gap between the same category of the source and target domains. The target private category is set as the unknown class during the adaptation process, as it is not included in the source domain. However, most existing methods overlook the intra-class structure within a category, especially in cases where there exists significant concept shift between the samples belonging to the same category. When samples with large concept shift are forced to be pushed together, it may negatively affect the adaptation performance. Moreover, from the interpretability aspect, it is unreasonable to align visual features with significant differences, such as fighter jets and civil aircraft, into the same category. Unfortunately, due to such semantic ambiguity and annotation cost, categories are not always classified in detail, making it difficult for the model to perform precise adaptation. To address these issues, we propose a novel Memory-Assisted Sub-Prototype Mining (MemSPM) method that can learn the differences between samples belonging to the same category and mine sub-classes when there exists significant concept shift between them. By doing so, our model learns a more reasonable feature space that enhances the transferability and reflects the inherent differences among samples annotated as the same category. We evaluate the effectiveness of our MemSPM method over multiple scenarios, including UniDA, OSDA, and PDA. Our method achieves state-of-the-art performance on four benchmarks in most cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google