Knowledge Accumulation in Continually Learned Representations and the Issue of Feature Forgetting

要約

タイトル：継続的に学習された表現における知識の蓄積と特徴の忘却の問題
要約：
– ニューラルネットワークは、通常、一度にすべてのトレーニングデータを学習する。新しいデータの連続的なチャンクでトレーニングされたモデルは、古いデータの処理方法を破壊的に忘れる傾向がある。
– この研究では、継続的に学習する方法と表現を学習する方法について調べる。
– 我々は、知識の蓄積（つまり、時間の経過とともに表現の改善）と特徴の忘却（つまり、タスク固有の表現の喪失）の2つの現象を観察する。
– タスク排除比較という新しい分析技術を導入し、どのタスクについてもすべてのタスク固有の特徴を忘れていない場合、そのタスクの表現が類似のタスクでトレーニングされた別のモデルよりも優れていることを示す。
– 画像分類の実験では、大部分のタスク固有の特徴がすぐに忘れられることが示され、これは過去に示されたものとは対照的である。
– さらに、リプレイのような継続的学習法や表現学習のアイデアがどのように継続的に学習された表現に影響を与えるかを示す。
– 最後に、表現品質が継続的学習のパフォーマンスと密接に関連していることを観察する。

要約(オリジナル)

By default, neural networks learn on all training data at once. When such a model is trained on sequential chunks of new data, it tends to catastrophically forget how to handle old data. In this work we investigate how continual learners learn and forget representations. We observe two phenomena: knowledge accumulation, i.e. the improvement of a representation over time, and feature forgetting, i.e. the loss of task-specific representations. To better understand both phenomena, we introduce a new analysis technique called task exclusion comparison. If a model has seen a task and it has not forgotten all the task-specific features, then its representation for that task should be better than that of a model that was trained on similar tasks, but not that exact one. Our image classification experiments show that most task-specific features are quickly forgotten, in contrast to what has been suggested in the past. Further, we demonstrate how some continual learning methods, like replay, and ideas from representation learning affect a continually learned representation. We conclude by observing that representation quality is tightly correlated with continual learning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI