Decoding Generalization from Memorization in Deep Neural Networks

要約

よく一般化する深い神経ネットワークを超過したことは、近年の深い学習の劇的な成功の鍵となっています。
一般化する彼らの驚くべき能力の理由はまだよく理解されていません。
また、ディープネットワークは、クラスラベルがさまざまな程度にシャッフルされた破損したデータでトレーニングされたモデルの完全または高いトレーニングの精度によって証明されるように、トレーニングデータを記憶する能力を持っていることも知られています。
同時に、そのようなモデルは不十分に一般化することが知られています。つまり、テストの精度が不十分であることがあります。
しかし、なぜそのような暗記に伴う貧しい一般化が起こるのかは不明でした。
1つの可能性は、破損したデータでトレーニングするプロセスで、ネットワークのレイヤーが一般化を困難にする方法で表現を控えめに再編成することです。
もう1つの可能性は、ネットワークが一般化する重要な能力を保持していることですが、訓練されたネットワークは、何らかの形で一般化に有害な方法で読み出しを選択します。
ここでは、そのようなモデルは、暗記に直面しても、一般化を大幅に改善するために、そのようなモデルがその表現に情報を持っていることを実証的に実証することにより、後者の可能性の証拠を提供します。
さらに、このような一般化能力は、訓練されたモデルの内部から簡単に解読でき、ネットワークの特定のレイヤーの出力からそれを行う手法を構築します。
多くの標準データセットでトレーニングされた複数のモデルで結果を示します。

要約(オリジナル)

Overparameterized Deep Neural Networks that generalize well have been key to the dramatic success of Deep Learning in recent years. The reasons for their remarkable ability to generalize are not well understood yet. It has also been known that deep networks possess the ability to memorize training data, as evidenced by perfect or high training accuracies on models trained with corrupted data that have class labels shuffled to varying degrees. Concomitantly, such models are known to generalize poorly, i.e. they suffer from poor test accuracies, due to which it is thought that the act of memorizing substantially degrades the ability to generalize. It has, however, been unclear why the poor generalization that accompanies such memorization, comes about. One possibility is that in the process of training with corrupted data, the layers of the network irretrievably reorganize their representations in a manner that makes generalization difficult. The other possibility is that the network retains significant ability to generalize, but the trained network somehow chooses to readout in a manner that is detrimental to generalization. Here, we provide evidence for the latter possibility by demonstrating, empirically, that such models possess information in their representations for substantially improved generalization, even in the face of memorization. Furthermore, such generalization abilities can be easily decoded from the internals of the trained model, and we build a technique to do so from the outputs of specific layers of the network. We demonstrate results on multiple models trained with a number of standard datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google