Eidetic Learning: an Efficient and Provable Solution to Catastrophic Forgetting

要約

壊滅的な忘却 – タスクT1を学習し、他のタスクT2で訓練された後にそれを実行する能力を失うニューラルネットワークの現象 – は、ニューラルネットワークの長年の問題です[McCloskey and Cohen、1989]。
壊滅的な忘却を実証する方法、Eidetic Learningを提示します。
Eidetic Learningでトレーニングされたネットワーク – ここでは、eideticNet-リハーサルやリプレイは必要ありません。
連続した離散タスクを検討し、推論時にeideticNetが補助タスク情報なしで新しいインスタンスを自動的にルーティングする方法を示します。
eideticnetは、少量のエクスパーの混合物層に類似している家族と類似しています。
[2016]そのネットワーク容量はタスク全体で分割され、ネットワーク自体はデータコンディショナルルーティングを実行します。
eideticNetは実装とトレーニングが簡単で、効率的で、パラメーターの数に時間と空間の複雑さが直線的です。
私たちの方法の保証は、トレーニング前と微調整の両方の間に、最新のニューラルネットワークの正規化層を保持します。
さまざまなネットワークアーキテクチャと、eideticNetsが忘れられないものであることを一連のタスクで表示します。
EideticNetsの実際的な利点はかなりのものですが、彼らは有益な開業医と理論家に同様にできると信じています。
トレーニング用コードEideticNetsは、https：//github.com/amazon-science/eideticnet-trainingで入手できます。

要約(オリジナル)

Catastrophic forgetting — the phenomenon of a neural network learning a task t1 and losing the ability to perform it after being trained on some other task t2 — is a long-standing problem for neural networks [McCloskey and Cohen, 1989]. We present a method, Eidetic Learning, that provably solves catastrophic forgetting. A network trained with Eidetic Learning — here, an EideticNet — requires no rehearsal or replay. We consider successive discrete tasks and show how at inference time an EideticNet automatically routes new instances without auxiliary task information. An EideticNet bears a family resemblance to the sparsely-gated Mixture-of-Experts layer Shazeer et al. [2016] in that network capacity is partitioned across tasks and the network itself performs data-conditional routing. An EideticNet is easy to implement and train, is efficient, and has time and space complexity linear in the number of parameters. The guarantee of our method holds for normalization layers of modern neural networks during both pre-training and fine-tuning. We show with a variety of network architectures and sets of tasks that EideticNets are immune to forgetting. While the practical benefits of EideticNets are substantial, we believe they can be benefit practitioners and theorists alike. The code for training EideticNets is available at https://github.com/amazon-science/eideticnet-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google