Cross-Domain Ensemble Distillation for Domain Generalization

要約

ドメインの一般化は、目に見えないターゲット ドメインに一般化するモデルを学習するタスクです。
クロスドメインアンサンブル蒸留（XDED）と呼ばれる、ドメイン一般化のためのシンプルで効果的な方法を提案します。これは、ドメイン一般化の十分条件であることが最近判明したフラットな最小値にモデルを収束させながら、ドメイン不変の機能を学習します。
この目的のために、私たちの方法は、同じラベルを持つが異なるドメインからのトレーニングデータから出力ロジットのアンサンブルを生成し、アンサンブルとの不一致に対して各出力にペナルティを課します。
また、モデルが任意のターゲット ドメインでもスタイルに一貫した予測を生成するように機能を標準化するスタイル解除手法を提示します。
私たちの方法は、クロスドメインの画像分類、クロスデータセットの人物再識別、およびクロスデータセットのセマンティックセグメンテーションの公開ベンチマークでの一般化機能を大幅に改善します。
さらに、私たちの方法で学習したモデルは、敵対的な攻撃や画像の破損に対して堅牢であることを示しています。

要約(オリジナル)

Domain generalization is the task of learning models that generalize to unseen target domains. We propose a simple yet effective method for domain generalization, named cross-domain ensemble distillation (XDED), that learns domain-invariant features while encouraging the model to converge to flat minima, which recently turned out to be a sufficient condition for domain generalization. To this end, our method generates an ensemble of the output logits from training data with the same label but from different domains and then penalizes each output for the mismatch with the ensemble. Also, we present a de-stylization technique that standardizes features to encourage the model to produce style-consistent predictions even in an arbitrary target domain. Our method greatly improves generalization capability in public benchmarks for cross-domain image classification, cross-dataset person re-ID, and cross-dataset semantic segmentation. Moreover, we show that models learned by our method are robust against adversarial attacks and image corruptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google