NormAUG: Normalization-guided Augmentation for Domain Generalization

要約

ディープラーニングは教師あり学習において大きな進歩をもたらしました。
ただし、この設定でトレーニングされたモデルは、トレーニング セットとテスト セットの間のドメインのシフトによる課題に直面することが多く、その結果、テスト中にパフォーマンスが大幅に低下します。
この問題に対処するために、まだ見ぬテスト ドメインまで一般化できる、複数のトレーニング ドメインから堅牢でドメイン不変の特徴を学習するいくつかのドメイン一般化手法が開発されました。
データ拡張は、トレーニング データの多様性を強化することでこの目標を達成する上で重要な役割を果たします。
この論文では、さまざまなドメインのさまざまなバッチによって生成されたさまざまな統計を使用して画像を正規化すると、その特徴が乱される可能性があるという観察に触発され、NormAUG (Normalization-guided Augmentation) と呼ばれるシンプルかつ効果的な方法を提案します。
私たちの方法には、メイン パスと補助 (拡張) パスの 2 つのパスが含まれています。
トレーニング中、補助パスには複数のサブパスが含まれており、それぞれが単一ドメインまたは複数ドメインのランダムな組み合わせのバッチ正規化に対応します。
これにより、機能レベルで多様な情報が導入され、メイン パスの一般化が向上します。
さらに、当社の NormAUG メソッドは、理論的観点に基づいて一般化の既存の上限を効果的に削減します。
テスト段階では、アンサンブル戦略を活用してモデルの補助パスからの予測を組み合わせ、パフォーマンスをさらに向上させます。
提案した手法の有効性を検証するために、複数のベンチマーク データセットに対して広範な実験が行われています。

要約(オリジナル)

Deep learning has made significant advancements in supervised learning. However, models trained in this setting often face challenges due to domain shift between training and test sets, resulting in a significant drop in performance during testing. To address this issue, several domain generalization methods have been developed to learn robust and domain-invariant features from multiple training domains that can generalize well to unseen test domains. Data augmentation plays a crucial role in achieving this goal by enhancing the diversity of the training data. In this paper, inspired by the observation that normalizing an image with different statistics generated by different batches with various domains can perturb its feature, we propose a simple yet effective method called NormAUG (Normalization-guided Augmentation). Our method includes two paths: the main path and the auxiliary (augmented) path. During training, the auxiliary path includes multiple sub-paths, each corresponding to batch normalization for a single domain or a random combination of multiple domains. This introduces diverse information at the feature level and improves the generalization of the main path. Moreover, our NormAUG method effectively reduces the existing upper boundary for generalization based on theoretical perspectives. During the test stage, we leverage an ensemble strategy to combine the predictions from the auxiliary path of our model, further boosting performance. Extensive experiments are conducted on multiple benchmark datasets to validate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google