Knowledge Accumulation in Continually Learned Representations and the Issue of Feature Forgetting

要約

ニューラル ネットワークが「出力レベルで」壊滅的な忘却に悩まされることは確立されていますが、これが表現レベルでも当てはまるかどうかは議論されています。
一部の研究では、表現には一定レベルの生来の堅牢性があり、最小限の情報しか忘れず、重要な情報はまったく忘れないと考えていますが、他の研究では、表現も忘却によって深刻な影響を受けると主張しています。
この議論に決着を付けるために、最初に、この明らかな不一致が、継続的に学習される表現の品質に影響を与える 2 つの現象 (知識の蓄積と特徴の忘却) の共存からどのように生じるのかについて議論します。
次に、特徴の忘却は絶対的に小さい可能性があるのは事実ですが、新たに学習した情報は、出力レベルと同様に表現レベルでも壊滅的に忘れられることを示します。
次に、この機能の忘却が知識の蓄積を大幅に遅らせるため、問題があることを示します。
さらに、教師あり学習と自己教師あり学習の両方を通じて継続的に学習される表現には特徴の忘却が発生することを示します。
最後に、特徴の忘却と知識の蓄積がさまざまなタイプの継続的学習方法によってどのような影響を受けるかを研究します。

要約(オリジナル)

While it is established that neural networks suffer from catastrophic forgetting “at the output level”, it is debated whether this is also the case at the level of representations. Some studies ascribe a certain level of innate robustness to representations, that they only forget minimally and no critical information, while others claim that representations are also severely affected by forgetting. To settle this debate, we first discuss how this apparent disagreement might stem from the coexistence of two phenomena that affect the quality of continually learned representations: knowledge accumulation and feature forgetting. We then show that, even though it is true that feature forgetting can be small in absolute terms, newly learned information is forgotten just as catastrophically at the level of representations as it is at the output level. Next we show that this feature forgetting is problematic as it substantially slows down knowledge accumulation. We further show that representations that are continually learned through both supervised and self-supervised learning suffer from feature forgetting. Finally, we study how feature forgetting and knowledge accumulation are affected by different types of continual learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google