Semi-Supervised Domain Generalization with Evolving Intermediate Domain

要約

【タイトル】進化中間ドメインを用いたセミスーパーバイズのドメイン一般化

【要約】

– ドメイン一般化(DG)は、複数のソースドメインでトレーニングされたモデルを未知のターゲットドメインに一般化することを目的としています。
– ソースドメインは常に正確な注釈が必要であり、そのためには大量のデータが必要であり、実際には時間と手間がかかるか、不可能になることがあります。
– 一方、Webデータは、豊富なスタイル情報を持つ大量の未ラベルデータにアクセスする機会を提供しており、DGを改善するために活用することができます。
– こうした観点から、我々はDGの新しいパラダイムであるセミスーパーバイズのドメイン一般化（SSDG）を導入し、ラベル付きとラベル付けされていないソースドメインがどのように相互作用するかを探索し、close-set と open-set SSDGの2つの設定を確立しました。
– close-set SSDGは、既存の公開DGデータセットに基づいていますが、web-crawledデータセットを基礎としたopen-set SSDGは、現在の技術の限界を引き出す新しい現実的な課題を提供します。
– SSDGの自然なアプローチは、疑似ラベリングを介してラベル付きデータからラベル付けされていないデータへの知識の移行を行い、一般化のために両方のラベル付きデータと疑似ラベル付きデータ上でモデルをトレーニングすることです。
– しかし、ドメイン指向の疑似ラベリングとドメイン外一般化の間には競合する目標があるため、SSDGには疑似ラベリングフェーズと一般化フェーズが独立して開発されました。
– 残念ながら、大きなドメインギャップのため、疑似ラベリングフェーズで提供される疑似ラベルには必ずノイズが含まれるため、後続の一般化フェーズに悪影響を与えます。
– そのため、疑似ラベルの品質を向上させ、一般化性をさらに高めるために、進化中間ドメインをカリキュラム学習的な方法でラベル付きドメインとラベル付けなしドメインを結びつける進化的な中間ドメインを利用するサイクリックな学習フレームワークを提案しています。

要約(オリジナル)

Domain Generalization (DG) aims to generalize a model trained on multiple source domains to an unseen target domain. The source domains always require precise annotations, which can be cumbersome or even infeasible to obtain in practice due to the vast amount of data involved. Web data, however, offers an opportunity to access large amounts of unlabeled data with rich style information, which can be leveraged to improve DG. From this perspective, we introduce a novel paradigm of DG, termed as Semi-Supervised Domain Generalization (SSDG), to explore how the labeled and unlabeled source domains can interact, and establish two settings, including the close-set and open-set SSDG. The close-set SSDG is based on existing public DG datasets, while the open-set SSDG, built on the newly-collected web-crawled datasets, presents a novel yet realistic challenge that pushes the limits of current technologies. A natural approach of SSDG is to transfer knowledge from labeled data to unlabeled data via pseudo labeling, and train the model on both labeled and pseudo-labeled data for generalization. Since there are conflicting goals between domain-oriented pseudo labeling and out-of-domain generalization, we develop a pseudo labeling phase and a generalization phase independently for SSDG. Unfortunately, due to the large domain gap, the pseudo labels provided in the pseudo labeling phase inevitably contain noise, which has negative affect on the subsequent generalization phase. Therefore, to improve the quality of pseudo labels and further enhance generalizability, we propose a cyclic learning framework to encourage a positive feedback between these two phases, utilizing an evolving intermediate domain that bridges the labeled and unlabeled domains in a curriculum learning manner…

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI