Domain-Generalizable Multiple-Domain Clustering

要約

この研究は、教師なし領域の一般化の問題を、ラベル付きサンプルが利用できない (完全に教師なし) 場合に一般化します。
複数のソースドメインからラベルのないサンプルが与えられ、意味的に関連するクラスターにサンプルを割り当てる共有予測子を学習することを目的としています。
評価は、これまでに存在しないドメインでのクラスターの割り当てを予測することによって行われます。
この目標に向けて、我々は 2 段階のトレーニング フレームワークを提案します。(1) ドメイン不変の意味論的特徴を抽出するための自己教師あり事前トレーニング。
(2) 擬似ラベルを使用したマルチヘッド クラスター予測。特徴空間とクラスター ヘッド予測の両方に依存し、新しい予測ベースのラベル平滑化スキームをさらに活用します。
私たちは、ターゲット ドメインからのサンプルやある程度の監視を使用した微調整が必​​要なベースラインよりもモデルが正確であることを経験的に示しています。
私たちのコードは https://github.com/AmitRozner/domain-generalizable-multiple-domain-clustering で入手できます。

要約(オリジナル)

This work generalizes the problem of unsupervised domain generalization to the case in which no labeled samples are available (completely unsupervised). We are given unlabeled samples from multiple source domains, and we aim to learn a shared predictor that assigns examples to semantically related clusters. Evaluation is done by predicting cluster assignments in previously unseen domains. Towards this goal, we propose a two-stage training framework: (1) self-supervised pre-training for extracting domain invariant semantic features. (2) multi-head cluster prediction with pseudo labels, which rely on both the feature space and cluster head prediction, further leveraging a novel prediction-based label smoothing scheme. We demonstrate empirically that our model is more accurate than baselines that require fine-tuning using samples from the target domain or some level of supervision. Our code is available at https://github.com/AmitRozner/domain-generalizable-multiple-domain-clustering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google