Causal Balancing for Domain Generalization

要約

機械学習モデルは、さまざまな実世界のタスクで最先端技術を急速に進歩させますが、これらのモデルの疑似相関に対する脆弱性を考えると、ドメイン外（OOD）の一般化は依然として困難な問題です。
現在のドメイン一般化手法は通常、新しい損失関数設計によって異なるドメイン間で特定の不変特性を適用することに焦点を当てていますが、観測されたトレーニング分布のドメイン固有の疑似相関を減らすために、バランスの取れたミニバッチサンプリング戦略を提案します。
より具体的には、1）疑似相関のソースを識別し、2）識別されたソースを照合することにより、疑似相関のないバランスの取れたミニバッチを構築する2段階の方法を提案します。
スプリアスの原因の識別可能性を保証し、提案されたアプローチがすべてのトレーニング環境にわたるバランスの取れたスプリアスのない分布から確実にサンプリングされることを示します。
実験は、文書化された疑似相関を持つ3つのコンピュータービジョンデータセットで実施され、バランスの取れたミニバッチサンプリング戦略が、ランダムミニバッチサンプリング戦略と比較して、4つの異なる確立されたドメイン一般化モデルベースラインのパフォーマンスを向上させることを経験的に示しています。

要約(オリジナル)

While machine learning models rapidly advance the state-of-the-art on various real-world tasks, out-of-domain (OOD) generalization remains a challenging problem given the vulnerability of these models to spurious correlations. While current domain generalization methods usually focus on enforcing certain invariance properties across different domains by new loss function designs, we propose a balanced mini-batch sampling strategy to reduce the domain-specific spurious correlations in the observed training distributions. More specifically, we propose a two-phased method that 1) identifies the source of spurious correlations, and 2) builds balanced mini-batches free from spurious correlations by matching on the identified source. We provide an identifiability guarantee of the source of spuriousness and show that our proposed approach provably samples from a balanced, spurious-free distribution over all training environments. Experiments are conducted on three computer vision datasets with documented spurious correlations, demonstrating empirically that our balanced mini-batch sampling strategy improves the performance of four different established domain generalization model baselines compared to the random mini-batch sampling strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google