FairDropout: Using Example-Tied Dropout to Enhance Generalization of Minority Groups

要約

ディープラーニングモデルは、トレーニングデータにおいてスプリアスな機能を頻繁に活用して、低いトレーニングエラーを実現し、多くの場合、テスト分布のシフトに直面した場合に一般化が不十分になります。
この問題に対処するために、不均衡な学習、表現学習、および分類器の再調整からのさまざまな方法が提案されており、偽の相関に対する深いニューラルネットワークの堅牢性を高めることが提案されています。
この論文では、経験的リスクの最小化で訓練されたモデルは、少数派グループからのインスタンスを暗記しながら、多数派の例のためによく一般化する傾向があることを観察します。
記憶を示す最近の調査結果に基づいて、限られた数のニューロンにローカライズされる可能性があるため、この暗記は、この暗記を特定のニューロンにリダイレクトすることを目的とした方法として、例として取り付けられたドロップアウトを適用します。
ビジョン、言語、およびヘルスケアタスクを網羅するサブポピュレーションベンチマークスイートを使用してフェアドロップアウトを経験的に評価し、プアリオスな相関への依存を大幅に減らし、最先端の方法を上回ることを実証します。

要約(オリジナル)

Deep learning models frequently exploit spurious features in training data to achieve low training error, often resulting in poor generalization when faced with shifted testing distributions. To address this issue, various methods from imbalanced learning, representation learning, and classifier recalibration have been proposed to enhance the robustness of deep neural networks against spurious correlations. In this paper, we observe that models trained with empirical risk minimization tend to generalize well for examples from the majority groups while memorizing instances from minority groups. Building on recent findings that show memorization can be localized to a limited number of neurons, we apply example-tied dropout as a method we term FairDropout, aimed at redirecting this memorization to specific neurons that we subsequently drop out during inference. We empirically evaluate FairDropout using the subpopulation benchmark suite encompassing vision, language, and healthcare tasks, demonstrating that it significantly reduces reliance on spurious correlations, and outperforms state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google