Out-of-Domain Robustness via Targeted Augmentations

要約

1 セットのドメインでトレーニングされたモデルは、目に見えないドメインでパフォーマンスが低下することがよくあります。たとえば、野生生物監視モデルが新しいカメラの場所にデプロイされている場合などです。
この作業では、ドメイン外 (OOD) の一般化のためのデータ拡張を設計するための原則を研究します。
特に、一部のドメイン依存機能が堅牢である現実世界のシナリオに焦点を当てています。つまり、ドメイン間で異なる一部の機能が予測 OOD です。
たとえば、上記の野生生物監視アプリケーションでは、画像の背景はカメラの場所によって異なりますが、生息地の種類を示しており、撮影された動物の種を予測するのに役立ちます。
線形設定での理論的分析に動機付けられて、ターゲットを絞った拡張を提案します。これは、堅牢な機能を維持しながら、偽のドメイン依存機能を選択的にランダム化します。
ターゲットを絞った拡張により OOD のパフォーマンスが向上し、より少ないドメインでモデルをより一般化できることが証明されました。
対照的に、ドメイン依存の機能をランダム化できないジェネリック拡張や、すべてのドメイン依存の機能をランダム化するドメイン不変の拡張などの既存のアプローチは、どちらも OOD のパフォーマンスが低下します。
3 つの実世界のデータセットでの実験では、ターゲットを絞った拡張により、OOD パフォーマンスが 3.2 ～ 15.2% 向上したことがわかりました。

要約(オリジナル)

Models trained on one set of domains often suffer performance drops on unseen domains, e.g., when wildlife monitoring models are deployed in new camera locations. In this work, we study principles for designing data augmentations for out-of-domain (OOD) generalization. In particular, we focus on real-world scenarios in which some domain-dependent features are robust, i.e., some features that vary across domains are predictive OOD. For example, in the wildlife monitoring application above, image backgrounds vary across camera locations but indicate habitat type, which helps predict the species of photographed animals. Motivated by theoretical analysis on a linear setting, we propose targeted augmentations, which selectively randomize spurious domain-dependent features while preserving robust ones. We prove that targeted augmentations improve OOD performance, allowing models to generalize better with fewer domains. In contrast, existing approaches such as generic augmentations, which fail to randomize domain-dependent features, and domain-invariant augmentations, which randomize all domain-dependent features, both perform poorly OOD. In experiments on three real-world datasets, we show that targeted augmentations set new states-of-the-art for OOD performance by 3.2-15.2%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google