UnLearning from Experience to Avoid Spurious Correlations

要約

ディープ ニューラル ネットワークは多くのタスクで最先端のパフォーマンスを実現できますが、これらのモデルは見た目よりも脆弱です。
トレーニング データ内で偽の相関関係を学習する傾向があり、予期しない失敗ケースにつながります。
この論文では、偽相関の問題に対処する新しいアプローチ、UnLearning from Experience (ULE) を提案します。
私たちの方法は、並行してトレーニングされた 2 つの分類モデル (学生モデルと教師モデル) の使用に基づいています。
どちらのモデルも同じバッチのトレーニング データを受け取ります。
スチューデント モデルは制約なしでトレーニングされ、データ内の偽の相関関係を追跡します。
教師モデルは、学生モデルの間違いを回避しながら、同じ分類問題を解決するようにトレーニングされます。
トレーニングが並行して行われるため、学生モデルが偽の相関をよりよく学習するほど、教師モデルはより堅牢になります。
教師モデルは、生徒の入力に対する生徒の出力の勾配を使用して、生徒が犯した間違いを忘れます。
私たちの方法が Waterbirds、CelebA、Spwrious、および UrbanCars データセットに対して有効であることを示します。

要約(オリジナル)

While deep neural networks can achieve state-of-the-art performance in many tasks, these models are more fragile than they appear. They are prone to learning spurious correlations in their training data, leading to surprising failure cases. In this paper, we propose a new approach that addresses the issue of spurious correlations: UnLearning from Experience (ULE). Our method is based on using two classification models trained in parallel: student and teacher models. Both models receive the same batches of training data. The student model is trained with no constraints and pursues the spurious correlations in the data. The teacher model is trained to solve the same classification problem while avoiding the mistakes of the student model. As training is done in parallel, the better the student model learns the spurious correlations, the more robust the teacher model becomes. The teacher model uses the gradient of the student’s output with respect to its input to unlearn mistakes made by the student. We show that our method is effective on the Waterbirds, CelebA, Spawrious and UrbanCars datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google