Improving Generalization with Domain Convex Game

要約

ドメイン一般化 (DG) は、複数のソース ドメインを使用してモデルを学習することにより、ディープ ニューラル ネットワークの不十分な一般化機能を軽減する傾向があります。
DG の古典的な解決策はドメイン拡張です。その共通の信念は、多様化するソース ドメインが分布外の一般化を助長するというものです。
ただし、これらの主張は数学的にではなく、直感的に理解されます。
私たちの調査は、モデルの一般化とドメインの多様性の間の相関関係が厳密には正ではない可能性があることを経験的に明らかにしており、ドメイン拡張の有効性を制限しています。
したがって、この作業は、このストランドの有効性を保証し、さらに強化することを目的としています。
この目的のために、DG をドメイン間の凸型ゲームとして再構築する新しい視点を提案します。
最初に、超モジュール性に基づいて正則化項を精巧に設計することにより、多様化された各ドメインがモデルの一般化を強化することをお勧めします。
一方、サンプル フィルターは低品質のサンプルを除外するように構築されているため、潜在的に有害な情報の影響を回避できます。
私たちのフレームワークは、DGの正式な分析、ヒューリスティック分析、および広範な実験のための新しい手段を提示し、合理性と有効性を実証します。

要約(オリジナル)

Domain generalization (DG) tends to alleviate the poor generalization capability of deep neural networks by learning model with multiple source domains. A classical solution to DG is domain augmentation, the common belief of which is that diversifying source domains will be conducive to the out-of-distribution generalization. However, these claims are understood intuitively, rather than mathematically. Our explorations empirically reveal that the correlation between model generalization and the diversity of domains may be not strictly positive, which limits the effectiveness of domain augmentation. This work therefore aim to guarantee and further enhance the validity of this strand. To this end, we propose a new perspective on DG that recasts it as a convex game between domains. We first encourage each diversified domain to enhance model generalization by elaborately designing a regularization term based on supermodularity. Meanwhile, a sample filter is constructed to eliminate low-quality samples, thereby avoiding the impact of potentially harmful information. Our framework presents a new avenue for the formal analysis of DG, heuristic analysis and extensive experiments demonstrate the rationality and effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google