Implicit Counterfactual Data Augmentation for Deep Neural Networks

要約

タイトル: 深層ニューラルネットワークのための暗黙的カウンターファクトリアルデータ拡張

要約:
– 機械学習モデルは、非因果属性とクラスとの間の偶発的な相関を捕捉する傾向がある。
– カウンターファクトリアルデータ拡張は、このような局所的相関を破るための有望な手法であるが、直接的にデータを生成することが難しい。
– そこで、本研究では、暗黙的なカウンターファクトリアルデータ拡張（ICDA）手法を提案する。
– ICDAは、意味的でカウンターファクトリアルな意味を持つ深い特徴を生成する新しいサンプル単位の拡張戦略を開発し、安定した予測を行う。
– また、無限に増強されたサンプル数で拡張された特徴集合に対して、計算容易な代替損失を導出する。
– 最後に、直接量化とメタ学習の2つの具体的な方法を提案して、ロバスト損失の重要なパラメータを導出する。
– 実験により、ICDAの正則化性質について説明し、深層ニューラルネットワークの汎化性能を検証し、複数の典型的な学習シナリオで外部分布の汎化性能を一貫して改善することができることを示した。

要約(オリジナル)

Machine-learning models are prone to capturing the spurious correlations between non-causal attributes and classes, with counterfactual data augmentation being a promising direction for breaking these spurious associations. However, explicitly generating counterfactual data is challenging, with the training efficiency declining. Therefore, this study proposes an implicit counterfactual data augmentation (ICDA) method to remove spurious correlations and make stable predictions. Specifically, first, a novel sample-wise augmentation strategy is developed that generates semantically and counterfactually meaningful deep features with distinct augmentation strength for each sample. Second, we derive an easy-to-compute surrogate loss on the augmented feature set when the number of augmented samples becomes infinite. Third, two concrete schemes are proposed, including direct quantification and meta-learning, to derive the key parameters for the robust loss. In addition, ICDA is explained from a regularization aspect, with extensive experiments indicating that our method consistently improves the generalization performance of popular depth networks on multiple typical learning scenarios that require out-of-distribution generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI