The Pitfalls of Memorization: When Memorization Hurts Generalization

要約

ニューラル ネットワークは、データの大部分に適合する単純な説明を学習する一方で、これらの説明から逸脱する例外を記憶することがよくあります。学習された説明が偽の相関に依存している場合、この動作により一般化が不十分になります。
この研究では、暗記と一般化の間の相互作用を形式化し、偽の相関が暗記と組み合わせると特に貧弱な一般化につながることを示しました。
暗記することでトレーニングの損失をゼロにできるため、堅牢で一般化可能なパターンを学習する動機がなくなります。
これに対処するために、保持された予測を記憶の信号として使用してモデルのロジットをシフトする記憶認識トレーニング (MAT) を提案します。
MAT は、分布全体で不変の堅牢なパターンの学習を促進し、分布の変化の下での汎化を向上させます。

要約(オリジナル)

Neural networks often learn simple explanations that fit the majority of the data while memorizing exceptions that deviate from these explanations.This behavior leads to poor generalization when the learned explanations rely on spurious correlations. In this work, we formalize the interplay between memorization and generalization, showing that spurious correlations would particularly lead to poor generalization when are combined with memorization. Memorization can reduce training loss to zero, leaving no incentive to learn robust, generalizable patterns. To address this, we propose memorization-aware training (MAT), which uses held-out predictions as a signal of memorization to shift a model’s logits. MAT encourages learning robust patterns invariant across distributions, improving generalization under distribution shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google