Universal Semi-supervised Model Adaptation via Collaborative Consistency Training

要約

この論文では、ユニバーサル半教師ありモデル適応 (USMA) と呼ばれる現実的で挑戦的なドメイン適応問題を紹介します。これは、i) 事前トレーニングされたソース モデルのみを必要とし、ii) ソース ドメインとターゲット ドメインに異なるラベル セットを持つことができます。
つまり、共通のラベル セットを共有し、独自のプライベート ラベル セットを保持し、iii) ターゲット ドメインの各クラスでラベル付きサンプルがわずか数個だけ必要になります。
USMA に対処するために、我々は 2 つのモデル、つまり事前トレーニングされたソース モデルとターゲット データのみで事前トレーニングされたそのバリアント間の予測の一貫性を正規化し、それらの補完的な強みを組み合わせてより強力なモデルを学習する、協調的な一貫性トレーニング フレームワークを提案します。
。
私たちのフレームワークの理論的根拠は、共通カテゴリではターゲットのみのモデルよりもソース モデルのパフォーマンスが優れているのに対し、ターゲットのプライベート カテゴリではターゲットのみのモデルのパフォーマンスが優れているという観察に基づいています。
また、トレーニングを改善するために、2 つの観点、つまりサンプル単位とクラス単位の一貫性正則化も提案します。
実験結果は、いくつかのベンチマーク データセットに対する私たちの方法の有効性を示しています。

要約(オリジナル)

In this paper, we introduce a realistic and challenging domain adaptation problem called Universal Semi-supervised Model Adaptation (USMA), which i) requires only a pre-trained source model, ii) allows the source and target domain to have different label sets, i.e., they share a common label set and hold their own private label set, and iii) requires only a few labeled samples in each class of the target domain. To address USMA, we propose a collaborative consistency training framework that regularizes the prediction consistency between two models, i.e., a pre-trained source model and its variant pre-trained with target data only, and combines their complementary strengths to learn a more powerful model. The rationale of our framework stems from the observation that the source model performs better on common categories than the target-only model, while on target-private categories, the target-only model performs better. We also propose a two-perspective, i.e., sample-wise and class-wise, consistency regularization to improve the training. Experimental results demonstrate the effectiveness of our method on several benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google