On Local Overfitting and Forgetting in Deep Neural Networks

要約

ディープ ニューラル ネットワークでは過学習がまれに発生するため、当惑させられます。理論的な予想に反して、実際にはモデル サイズを増やすとパフォーマンスが向上することがよくあります。
しかし、データ空間の特定のサブ領域に限定されているにもかかわらず、過剰適合が発生した場合はどうなるでしょうか?
この研究では、検証データ上の深層モデルの忘却率を捕捉する新しいスコアを提案します。
このスコアはローカルな過剰適合、つまりデータ空間の特定の領域に限定されたパフォーマンスの低下を定量化していると考えられます。
次に、従来の過学習の存在に関係なく、局所的な過学習が発生することを経験的に示します。
深い過剰パラメータ化線形モデルのフレームワークを使用して、忘れられた知識の特定の理論的特徴付けを提供し、それが実際の深いモデルによって忘れられた知識と相関することを示します。
最後に、単一ネットワークのトレーニング履歴のみに依存して、忘れられた知識を回復することを目的とした新しいアンサンブル手法を考案します。
この方法を自己蒸留と組み合わせると、推論コストを追加することなく、トレーニングされたモデルのパフォーマンスが向上します。
広範な経験的評価により、複数のデータセット、最新のニューラル ネットワーク アーキテクチャ、トレーニング プロトコルにわたるこの手法の有効性が実証されています。

要約(オリジナル)

The infrequent occurrence of overfitting in deep neural networks is perplexing: contrary to theoretical expectations, increasing model size often enhances performance in practice. But what if overfitting does occur, though restricted to specific sub-regions of the data space? In this work, we propose a novel score that captures the forgetting rate of deep models on validation data. We posit that this score quantifies local overfitting: a decline in performance confined to certain regions of the data space. We then show empirically that local overfitting occurs regardless of the presence of traditional overfitting. Using the framework of deep over-parametrized linear models, we offer a certain theoretical characterization of forgotten knowledge, and show that it correlates with knowledge forgotten by real deep models. Finally, we devise a new ensemble method that aims to recover forgotten knowledge, relying solely on the training history of a single network. When combined with self-distillation, this method enhances the performance of any trained model without adding inference costs. Extensive empirical evaluations demonstrate the efficacy of our method across multiple datasets, contemporary neural network architectures, and training protocols.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google