Investigating Forgetting in Pre-Trained Representations Through Continual Learning

要約

タイトル：Continual LearningによるPre-Trained RepresentationsにおけるForgettingの調査

要約：
– Representation forgetting とは、Continual Learning中のコンテキスト依存の表現の漂流のことです。
– 直感的に、Representation forgetting が Pre-Trained Language Models(LMs)に保存された一般知識に影響を与える可能性がありますが、具体的な効果はまだ明確ではありません。
– この論文では、Continual Learningにおける一般知識の進化を測定するための3つのメトリクス（overall generality destruction (GD)、syntactic knowledge forgetting (SynF)、semantic knowledge forgetting (SemF)）を設計し、Pre-Trained LMsの一般性への影響を調査しています。
– さらに、広範な実験を行い、一般性が様々な Pre-Trained LMs で破壊され、継続的学習を通じて構文知識と意味知識が忘れられることがわかりました。
– 実験と分析に基づき、2つの洞察を得ました。1) 最初に一般言語タスクをトレーニングすることで一般知識の忘却を緩和することができる。2) ハイブリッド継続学習法は繰り返し演習または正則化だけを考慮するものと比較して、より一般的な知識を保持し、一般化の破壊を緩和することができます。

要約(オリジナル)

Representation forgetting refers to the drift of contextualized representations during continual training. Intuitively, the representation forgetting can influence the general knowledge stored in pre-trained language models (LMs), but the concrete effect is still unclear. In this paper, we study the effect of representation forgetting on the generality of pre-trained language models, i.e. the potential capability for tackling future downstream tasks. Specifically, we design three metrics, including overall generality destruction (GD), syntactic knowledge forgetting (SynF), and semantic knowledge forgetting (SemF), to measure the evolution of general knowledge in continual learning. With extensive experiments, we find that the generality is destructed in various pre-trained LMs, and syntactic and semantic knowledge is forgotten through continual learning. Based on our experiments and analysis, we further get two insights into alleviating general knowledge forgetting: 1) training on general linguistic tasks at first can mitigate general knowledge forgetting; 2) the hybrid continual learning method can mitigate the generality destruction and maintain more general knowledge compared with those only considering rehearsal or regularization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI