Improving Replay Sample Selection and Storage for Less Forgetting in Continual Learning

要約

継続的学習は、深層学習者が前のタスクを壊滅的に忘れることなく、未知の長さの一連のタスクで学習できるようにすることを目指している。効果的な解決策の1つは再生であり、過去の経験をいくつか記憶しておき、現在のタスクを学習する際に再生する。しかし、最も情報量の多いサンプルを選択して記憶させることや、記憶させるサンプルの最適数を決定することに関しては、まだ改善の余地がある。本研究は、一般的に使用されているリザーバーサンプリングと様々な代替集団戦略との新規な比較を行い、最適な蓄積サンプル数を見つける方法に関する新規な詳細分析を提供することで、これらの問題に対処することを目的とする。

要約(オリジナル)

Continual learning seeks to enable deep learners to train on a series of tasks of unknown length without suffering from the catastrophic forgetting of previous tasks. One effective solution is replay, which involves storing few previous experiences in memory and replaying them when learning the current task. However, there is still room for improvement when it comes to selecting the most informative samples for storage and determining the optimal number of samples to be stored. This study aims to address these issues with a novel comparison of the commonly used reservoir sampling to various alternative population strategies and providing a novel detailed analysis of how to find the optimal number of stored samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL