Unsupervised Domain Adaptation via Distilled Discriminative Clustering

要約

教師なしドメイン適応は、共通のラベル スペースを共有するが異なる分布に従うラベル付きソース ドメイン データが与えられた場合に、ラベルなしターゲット ドメイン内のデータを分類する問題に対処します。
最近の方法のほとんどは、2 つのドメイン間の機能分布を明示的に調整するアプローチを採用しています。
別の方法として、ドメイン適応性の基本的な仮定に動機付けられて、密接に関連し、ラベル付けされたソース データによって提供される強力な特権情報を考慮して、ドメイン適応問題をターゲット データの識別クラスタリングとして再キャストします。
技術的には、ターゲット データを適応的にフィルタリングするエントロピー最小化の堅牢なバリアント、ソフトなフィッシャーのような基準、さらに重心分類によるクラスターの順序付けに基づいて、クラスタリングの目的を使用します。
ターゲット クラスタリングのための識別可能なソース情報を抽出するために、ラベル付けされたソース データに対して並列の教師あり学習目標を使用して、ネットワークを共同でトレーニングすることを提案します。
ドメイン適応のための抽出された識別的クラスタリングの方法を DisClusterDA と呼びます。
また、DisClusterDA の構成目的がクラスごとに純粋でコンパクトな特徴分布の学習にどのように役立つかを示す幾何学的な直感も提供します。
マルチソース ドメイン適応を含む 5 つの一般的なベンチマーク データセットに対して、慎重なアブレーション研究と広範な実験を実施します。
一般的に使用されるバックボーン ネットワークに基づくと、DisClusterDA はこれらのベンチマークで既存の方法より優れています。
私たちの DisClusterDA フレームワークでは、ドメイン全体でクラスレベルの特徴分布を調整することを明示的に学習する追加の損失項を追加すると、適応のパフォーマンスが損なわれることを観察することも興味深いですが、異なるアルゴリズム フレームワークでより慎重な研究が行われる予定です。

要約(オリジナル)

Unsupervised domain adaptation addresses the problem of classifying data in an unlabeled target domain, given labeled source domain data that share a common label space but follow a different distribution. Most of the recent methods take the approach of explicitly aligning feature distributions between the two domains. Differently, motivated by the fundamental assumption for domain adaptability, we re-cast the domain adaptation problem as discriminative clustering of target data, given strong privileged information provided by the closely related, labeled source data. Technically, we use clustering objectives based on a robust variant of entropy minimization that adaptively filters target data, a soft Fisher-like criterion, and additionally the cluster ordering via centroid classification. To distill discriminative source information for target clustering, we propose to jointly train the network using parallel, supervised learning objectives over labeled source data. We term our method of distilled discriminative clustering for domain adaptation as DisClusterDA. We also give geometric intuition that illustrates how constituent objectives of DisClusterDA help learn class-wisely pure, compact feature distributions. We conduct careful ablation studies and extensive experiments on five popular benchmark datasets, including a multi-source domain adaptation one. Based on commonly used backbone networks, DisClusterDA outperforms existing methods on these benchmarks. It is also interesting to observe that in our DisClusterDA framework, adding an additional loss term that explicitly learns to align class-level feature distributions across domains does harm to the adaptation performance, though more careful studies in different algorithmic frameworks are to be conducted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google