A Novel Cross-Perturbation for Single Domain Generalization

要約

単一ドメインの一般化は、単一のソース ドメインでトレーニングされたときに未知のドメインにモデルを一般化する機能を強化することを目的としています。
ただし、トレーニング データの多様性が限られているため、ドメイン不変の特徴の学習が妨げられ、汎化パフォーマンスが低下します。
これに対処するために、データの多様性を高める重要な方法として、データの摂動 (拡張) が登場しました。
それにもかかわらず、既存の摂動手法は多くの場合、画像レベルまたは特徴レベルの摂動のいずれかに独立して焦点を当てており、それらの相乗効果は無視されています。
これらの制限を克服するために、シンプルだが効果的な相互摂動法である CPerb を提案します。
具体的には、CPerb は水平操作と垂直操作の両方を利用します。
水平方向では、画像レベルおよび特徴レベルの摂動を適用してトレーニング データの多様性を強化し、単一ソース ドメインにおける多様性の制限の問題を軽減します。
垂直的には、マルチルート摂動を導入して、同じ意味カテゴリを持つサンプルのさまざまな視点からドメイン不変の特徴を学習し、それによってモデルの一般化機能を強化します。
さらに、ローカル画像スタイル情報を利用してトレーニング データをさらに多様化する新しい特徴レベルの摂動手法である MixPatch を提案します。
さまざまなベンチマーク データセットに対する広範な実験により、私たちの手法の有効性が検証されています。

要約(オリジナル)

Single domain generalization aims to enhance the ability of the model to generalize to unknown domains when trained on a single source domain. However, the limited diversity in the training data hampers the learning of domain-invariant features, resulting in compromised generalization performance. To address this, data perturbation (augmentation) has emerged as a crucial method to increase data diversity. Nevertheless, existing perturbation methods often focus on either image-level or feature-level perturbations independently, neglecting their synergistic effects. To overcome these limitations, we propose CPerb, a simple yet effective cross-perturbation method. Specifically, CPerb utilizes both horizontal and vertical operations. Horizontally, it applies image-level and feature-level perturbations to enhance the diversity of the training data, mitigating the issue of limited diversity in single-source domains. Vertically, it introduces multi-route perturbation to learn domain-invariant features from different perspectives of samples with the same semantic category, thereby enhancing the generalization capability of the model. Additionally, we propose MixPatch, a novel feature-level perturbation method that exploits local image style information to further diversify the training data. Extensive experiments on various benchmark datasets validate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google