Domain-Specific Bias Filtering for Single Labeled Domain Generalization

要約

従来のドメインの一般化 (CDG) は、ラベル付けされた複数のソース データセットを利用して、目に見えないターゲット ドメインの一般化可能なモデルをトレーニングします。
ただし、注釈のコストが高いため、すべてのソース データにラベルを付けるという要件を実際のアプリケーションで満たすことは困難です。
このホワイト ペーパーでは、単一のラベル付きドメインの一般化 (SLDG) タスクを調査します。これは、CDG タスクよりも実用的でやりがいのある、1 つのソース ドメインのみがラベル付けされています。
SLDG タスクの主な障害は、識別可能性の一般化バイアスです。ラベル付きソース データセットの識別情報には、ドメイン固有のバイアスが含まれている可能性があり、トレーニング済みモデルの一般化が制約されます。
この困難なタスクに取り組むために、Domain-Specific Bias Filtering (DSBF) と呼ばれる新しいフレームワークを提案します。DSBF は、ラベル付けされたソース データを使用して識別モデルを初期化し、ラベル付けされていないソース データを使用してドメイン固有のバイアスを除外し、一般化を改善します。
フィルタリングプロセスを、（1）k-meansクラスタリングベースのセマンティック特徴の再抽出による特徴抽出器のバイアス緩和と、（2）注意誘導のセマンティック特徴投影による分類器の修正に分けます。
DSBF は、ラベル付けされたソース データとラベル付けされていないソース データの探索を統合して、トレーニング済みモデルの識別可能性と一般化を強化し、高度に一般化可能なモデルを実現します。
さらに、提案されたドメイン固有のバイアスフィルタリングプロセスを検証するための理論的分析を提供します。
複数のデータセットでの広範な実験は、困難な SLDG タスクと CDG タスクの両方に取り組む際の DSBF の優れたパフォーマンスを示しています。

要約(オリジナル)

Conventional Domain Generalization (CDG) utilizes multiple labeled source datasets to train a generalizable model for unseen target domains. However, due to expensive annotation costs, the requirements of labeling all the source data are hard to be met in real-world applications. In this paper, we investigate a Single Labeled Domain Generalization (SLDG) task with only one source domain being labeled, which is more practical and challenging than the CDG task. A major obstacle in the SLDG task is the discriminability-generalization bias: the discriminative information in the labeled source dataset may contain domain-specific bias, constraining the generalization of the trained model. To tackle this challenging task, we propose a novel framework called Domain-Specific Bias Filtering (DSBF), which initializes a discriminative model with the labeled source data and then filters out its domain-specific bias with the unlabeled source data for generalization improvement. We divide the filtering process into (1) feature extractor debiasing via k-means clustering-based semantic feature re-extraction and (2) classifier rectification through attention-guided semantic feature projection. DSBF unifies the exploration of the labeled and the unlabeled source data to enhance the discriminability and generalization of the trained model, resulting in a highly generalizable model. We further provide theoretical analysis to verify the proposed domain-specific bias filtering process. Extensive experiments on multiple datasets show the superior performance of DSBF in tackling both the challenging SLDG task and the CDG task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google