Towards Data-Free Domain Generalization

要約

本研究では、領域汎化(DG)とデータフリー学習の未踏の交差点を調査する。特に、以下の問いに取り組む。原文と訳文のデータがない場合、異なる原文領域で学習したモデルに含まれる知識を、どのようにして未知の目標領域にうまく汎化できる単一のモデルに統合できるのか？ドメインシフトに対応できる機械学習モデルは、データ分布が頻繁に変化する実世界のシナリオに不可欠である。先行するDG手法は一般的にソースドメインデータの使用に依存しており、プライベートな非中央集権データには不向きである。我々は、元のデータセットの代わりに、ソースドメインで別途学習したモデルが利用できる実用的な設定である、データフリードメイン汎化（DFDG）という新しい問題を定義し、その場合のドメイン汎化問題を効果的に解決する方法を検討する。我々は、利用可能な教師モデルからドメイン固有の知識を抽出し、ドメインシフトに頑健な生徒モデルに融合させるアプローチであるDEKANを提案する。我々の実証評価では、DFDGにおいて、データを用いない知識抽出とアンサンブルのベースラインを大幅に凌駕し、初めて最先端の結果を達成した我々の手法の有効性を実証している。

要約(オリジナル)

In this work, we investigate the unexplored intersection of domain generalization (DG) and data-free learning. In particular, we address the question: How can knowledge contained in models trained on different source domains be merged into a single model that generalizes well to unseen target domains, in the absence of source and target domain data? Machine learning models that can cope with domain shift are essential for real-world scenarios with often changing data distributions. Prior DG methods typically rely on using source domain data, making them unsuitable for private decentralized data. We define the novel problem of Data-Free Domain Generalization (DFDG), a practical setting where models trained on the source domains separately are available instead of the original datasets, and investigate how to effectively solve the domain generalization problem in that case. We propose DEKAN, an approach that extracts and fuses domain-specific knowledge from the available teacher models into a student model robust to domain shift. Our empirical evaluation demonstrates the effectiveness of our method which achieves first state-of-the-art results in DFDG by significantly outperforming data-free knowledge distillation and ensemble baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL