Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs

要約

ディープ ニューラル ネットワークではまれにオーバーフィットが発生するため、当惑させられます。
一方で、モデルが大きくなるにつれて、最終的には特定のトレーニング セットに特化しすぎて、一般化が減少することが理論的に予測されています。
対照的に、画像分類における経験的結果は、深いモデルのトレーニング時間を増やしたり、より大きなモデルを使用したりしても、一般化に悪影響を与えることはほとんどないことを示しています。
オーバーフィットを測定する方法が限定的すぎるためでしょうか?
ここでは、検証データ上の深層モデルの忘却率を監視する、過剰適合を定量化するための新しいスコアを紹介します。
おそらく、このスコアは、汎化が全体的に向上しているにもかかわらず、データ空間の特定の領域で低下していることを示していると考えられます。
このように測定すると、オーバーフィットは検証精度の低下の有無に関わらず発生する可能性があり、これまで認識されていたよりも一般的である可能性があることがわかります。
この観察は、前述の混乱した状況を明確にするのに役立つかもしれません。
私たちは観察を使用して、単一ネットワークのトレーニング履歴のみに基づいた新しいアンサンブル手法を構築します。これにより、トレーニング時間に追加のコストをかけずにパフォーマンスが大幅に向上します。
最新のディープ モデルを使用した広範な経験的評価により、スクラッチからトレーニングする場合と転移学習で事前トレーニングされたネットワークを使用する場合の両方で、複数のデータセット、ニューラル ネットワーク アーキテクチャ、トレーニング スキームに対するこの手法の有用性が示されています。
特に、私たちの方法は、実装と使用が簡単でありながら、同等の方法よりも優れたパフォーマンスを発揮し、Imagenet 上の競合ネットワークのパフォーマンスをさらに 1% 向上させます。

要約(オリジナル)

The infrequent occurrence of overfit in deep neural networks is perplexing. On the one hand, theory predicts that as models get larger they should eventually become too specialized for a specific training set, with ensuing decrease in generalization. In contrast, empirical results in image classification indicate that increasing the training time of deep models or using bigger models almost never hurts generalization. Is it because the way we measure overfit is too limited? Here, we introduce a novel score for quantifying overfit, which monitors the forgetting rate of deep models on validation data. Presumably, this score indicates that even while generalization improves overall, there are certain regions of the data space where it deteriorates. When thus measured, we show that overfit can occur with and without a decrease in validation accuracy, and may be more common than previously appreciated. This observation may help to clarify the aforementioned confusing picture. We use our observations to construct a new ensemble method, based solely on the training history of a single network, which provides significant improvement in performance without any additional cost in training time. An extensive empirical evaluation with modern deep models shows our method’s utility on multiple datasets, neural networks architectures and training schemes, both when training from scratch and when using pre-trained networks in transfer learning. Notably, our method outperforms comparable methods while being easier to implement and use, and further improves the performance of competitive networks on Imagenet by 1%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google