Towards Generalizing to Unseen Domains with Few Labels

要約

私たちは、半教師ありドメイン一般化 (SSDG) に対処するという課題に取り組みます。
具体的には、ラベルなしデータの大幅なプールと並行して、ラベル付きデータの限られたサブセットを活用することで、ドメイン一般化可能な特徴を学習するモデルを取得することを目的としています。
ラベルのないデータを利用できない既存のドメイン一般化 (DG) メソッドは、SSDG 設定の下で半教師あり学習 (SSL) メソッドと比較してパフォーマンスが低くなります。
それにもかかわらず、SSL メソッドには、完全に監視された DG トレーニングと比較した場合、パフォーマンスを向上させる余地がかなりあります。
SSDG のこの未解明ではあるが非常に実用的な問題に取り組むために、私たちは次の中心的な貢献を行います。
まず、特徴空間からの事後分布をモデルの出力空間からの擬似ラベルと照合する特徴ベースの適合技術を提案します。
次に、特徴空間内の意味構造を正則化することで意味的に互換性のある表現を学習するための意味アライメント損失を開発します。
私たちの方法はプラグアンドプレイであり、追加のパラメーターを導入することなく、さまざまな SSL ベースの SSDG ベースラインと容易に統合できます。
4 つの強力な SSL ベースラインを使用した 5 つの困難な DG ベンチマークにわたる広範な実験結果は、私たちの方法が 2 つの異なる SSDG 設定で一貫した顕著なゲインを提供することを示唆しています。

要約(オリジナル)

We approach the challenge of addressing semi-supervised domain generalization (SSDG). Specifically, our aim is to obtain a model that learns domain-generalizable features by leveraging a limited subset of labelled data alongside a substantially larger pool of unlabeled data. Existing domain generalization (DG) methods which are unable to exploit unlabeled data perform poorly compared to semi-supervised learning (SSL) methods under SSDG setting. Nevertheless, SSL methods have considerable room for performance improvement when compared to fully-supervised DG training. To tackle this underexplored, yet highly practical problem of SSDG, we make the following core contributions. First, we propose a feature-based conformity technique that matches the posterior distributions from the feature space with the pseudo-label from the model’s output space. Second, we develop a semantics alignment loss to learn semantically-compatible representations by regularizing the semantic structure in the feature space. Our method is plug-and-play and can be readily integrated with different SSL-based SSDG baselines without introducing any additional parameters. Extensive experimental results across five challenging DG benchmarks with four strong SSL baselines suggest that our method provides consistent and notable gains in two different SSDG settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google