Universal Semi-supervised Model Adaptation via Collaborative Consistency Training

要約

本論文では、普遍的半教師付きモデル適応(USMA)と呼ばれる、現実的で挑戦的なドメイン適応問題を紹介する。USMAは、i)事前に訓練されたソースモデルのみを必要とし、ii)ソースドメインとターゲットドメインが異なるラベルセットを持つことを許容し、すなわち、共通のラベルセットを共有し、独自のプライベートラベルセットを保持し、iii)ターゲットドメインの各クラスにおいて少数のラベル付きサンプルのみを必要とする。USMAに対処するために、我々は協調的整合性学習フレームワークを提案する。このフレームワークは、2つのモデル、すなわち、事前に訓練されたソースモデルと、ターゲットデータのみで事前に訓練されたバリアントモデル間の予測整合性を正則化し、より強力なモデルを学習するために、それらの相補的な強みを結合する。本フレームワークの理論的根拠は、ソースモデルはターゲットのみのモデルよりも共通のカテゴリで優れた性能を発揮する一方、ターゲットとプライベートなカテゴリではターゲットのみのモデルの方が優れた性能を発揮するという観察に由来する。また、学習を改善するために、2つの視点、すなわちサンプル単位とクラス単位の一貫性正則化を提案する。実験結果は、いくつかのベンチマークデータセットにおいて、我々の手法の有効性を実証している。

要約(オリジナル)

In this paper, we introduce a realistic and challenging domain adaptation problem called Universal Semi-supervised Model Adaptation (USMA), which i) requires only a pre-trained source model, ii) allows the source and target domain to have different label sets, i.e., they share a common label set and hold their own private label set, and iii) requires only a few labeled samples in each class of the target domain. To address USMA, we propose a collaborative consistency training framework that regularizes the prediction consistency between two models, i.e., a pre-trained source model and its variant pre-trained with target data only, and combines their complementary strengths to learn a more powerful model. The rationale of our framework stems from the observation that the source model performs better on common categories than the target-only model, while on target-private categories, the target-only model performs better. We also propose a two-perspective, i.e., sample-wise and class-wise, consistency regularization to improve the training. Experimental results demonstrate the effectiveness of our method on several benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL