MemSAC: Memory Augmented Sample Consistency for Large Scale Domain Adaptation

要約

豊富なカテゴリを持つ実用的な実世界のデータセットは、ドメインの不変性だけに依存する既存のアプローチでは十分に処理できない、小さなクラス間の識別可能性など、教師なしドメイン適応の新しい課題をもたらします。
この作業では、ソースドメインとターゲットドメイン間のサンプルレベルの類似性を活用して識別可能な転送を実現するMemSACと、多数のカテゴリに拡張できるアーキテクチャを提案します。
この目的のために、最初に、任意の数のクラスを処理するのに適した、ラベル付きソースドメインインスタンスとラベルなしターゲットドメインインスタンス間のペアワイズ類似関係を効率的に抽出するためのメモリ拡張アプローチを紹介します。
次に、クラス間の分離を強制しながら、クラス内のクロスドメインサンプル間の局所的な一貫性を促進し、ソースからターゲットへの識別転送を維持するために、コントラスト損失の新しいバリアントを提案し、理論的に正当化します。
MemSACの利点を検証し、345クラスのDomainNetや200クラスのCaltech-UCSD鳥データセットでのきめ細かい適応など、大規模な適応用に設計された複数の困難な転送タスクで、以前の最先端技術を大幅に改善します。
。
また、MemSACの有効性に関する詳細な分析と洞察も提供します。

要約(オリジナル)

Practical real world datasets with plentiful categories introduce new challenges for unsupervised domain adaptation like small inter-class discriminability, that existing approaches relying on domain invariance alone cannot handle sufficiently well. In this work we propose MemSAC, which exploits sample level similarity across source and target domains to achieve discriminative transfer, along with architectures that scale to a large number of categories. For this purpose, we first introduce a memory augmented approach to efficiently extract pairwise similarity relations between labeled source and unlabeled target domain instances, suited to handle an arbitrary number of classes. Next, we propose and theoretically justify a novel variant of the contrastive loss to promote local consistency among within-class cross domain samples while enforcing separation between classes, thus preserving discriminative transfer from source to target. We validate the advantages of MemSAC with significant improvements over previous state-of-the-art on multiple challenging transfer tasks designed for large-scale adaptation, such as DomainNet with 345 classes and fine-grained adaptation on Caltech-UCSD birds dataset with 200 classes. We also provide in-depth analysis and insights into the effectiveness of MemSAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google