Invariance Principle Meets Vicinal Risk Minimization

要約

深層学習モデルはコンピューター ビジョン タスクでは優れていますが、多くの場合、配布外 (OOD) ドメインには一般化できません。
Invariant Risk Minimization (IRM) は、ドメイン不変の特徴を学習することで OOD の一般化に対処することを目的としています。
ただし、IRM は、大幅な多様性の変化を示すデータセットに苦戦しています。
Mixup や Semantic Data Augmentation (SDA) などのデータ拡張手法は多様性を強化しますが、過剰な拡張やラベルの不安定性のリスクがあります。
これらの課題に対処するために、ラベルの一貫性を維持しながらデータセットの多様性を強化するように設計された分散リスク最小化 (VRM) の新しい実装である、ドメイン共有セマンティック データ拡張 (SDA) モジュールを提案します。
さらに、Rademacher の複雑性分析を提供し、ベースライン手法と比較してより厳しい一般化誤差限界を確立します。
PACS、VLCS、OfficeHome、TerraIncognita などの OOD ベンチマークの広範な評価により、最先端のドメイン一般化手法と比べて一貫したパフォーマンスの向上が実証されています。

要約(オリジナル)

Deep learning models excel in computer vision tasks but often fail to generalize to out-of-distribution (OOD) domains. Invariant Risk Minimization (IRM) aims to address OOD generalization by learning domain-invariant features. However, IRM struggles with datasets exhibiting significant diversity shifts. While data augmentation methods like Mixup and Semantic Data Augmentation (SDA) enhance diversity, they risk over-augmentation and label instability. To address these challenges, we propose a domain-shared Semantic Data Augmentation (SDA) module, a novel implementation of Variance Risk Minimization (VRM) designed to enhance dataset diversity while maintaining label consistency. We further provide a Rademacher complexity analysis, establishing a tighter generalization error bound compared to baseline methods. Extensive evaluations on OOD benchmarks, including PACS, VLCS, OfficeHome, and TerraIncognita, demonstrate consistent performance improvements over state-of-the-art domain generalization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google