Unsupervised Replay Strategies for Continual Learning with Limited Data

要約

人工ニューラル ネットワーク (ANN) は、トレーニング データが不足しているか不均衡であるとパフォーマンスが制限され、新しいタスクのトレーニング後に以前に学習したデータを忘れてしまうなど、継続的な学習に関する課題に直面しています。
対照的に、人間の脳は、ほんの数例から継続的に学習することができます。
この研究では、限定的で不均衡なデータセット、特に MNIST と Fashion MNIST を使用して段階的にトレーニングされた ANN に対する、局所ヘビアン学習ルールによる確率的活性化を組み込んだ教師なしフェーズである「睡眠」の影響を調査します。
私たちは、睡眠フェーズを導入すると、限られたデータでトレーニングされたモデルの精度が大幅に向上することを発見しました。
いくつかのタスクを連続してトレーニングした場合、スリープ リプレイは、新しいタスクのトレーニング後に壊滅的に忘れ去られていた以前に学習した情報を救い出すだけでなく、以前のタスク、特に限られたデータでトレーニングされたタスクのパフォーマンスを向上させることがよくありました。
この研究は、ANNにおける学習効率の向上と継続的な学習の促進における睡眠再生の多面的な役割を強調しています。

要約(オリジナル)

Artificial neural networks (ANNs) show limited performance with scarce or imbalanced training data and face challenges with continuous learning, such as forgetting previously learned data after new tasks training. In contrast, the human brain can learn continuously and from just a few examples. This research explores the impact of ‘sleep’, an unsupervised phase incorporating stochastic activation with local Hebbian learning rules, on ANNs trained incrementally with limited and imbalanced datasets, specifically MNIST and Fashion MNIST. We discovered that introducing a sleep phase significantly enhanced accuracy in models trained with limited data. When a few tasks were trained sequentially, sleep replay not only rescued previously learned information that had been catastrophically forgetting following new task training but often enhanced performance in prior tasks, especially those trained with limited data. This study highlights the multifaceted role of sleep replay in augmenting learning efficiency and facilitating continual learning in ANNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google