Continual Learning of Natural Language Processing Tasks: A Survey

要約

継続学習（CL）は、以前に学習した知識を忘れることなく継続的に学習して知識を蓄積し、また学習した知識を転送して新しいタスクをより良く学習するのに役立つという人間の能力を模倣した学習パラダイムである。本調査では、コンピュータビジョンや機械学習におけるCLと大きく異なる、NLPにおけるCLの最近の進歩について包括的なレビューと分析を行う。(1)すべてのCL設定と既存技術の分類法、(2)壊滅的忘却（CF）防止、(3)NLPタスクで特に重要な知識移転（KT）、(4)いくつかの理論とタスク間クラス分離（ICS）の隠れた課題をカバーする。(1)、(3)、(4)は既存の調査には含まれていない。最後に、今後の方向性について述べている。

要約(オリジナル)

Continual learning (CL) is a learning paradigm that emulates the human capability of learning and accumulating knowledge continually without forgetting the previously learned knowledge and also transferring the learned knowledge to help learn new tasks better. This survey presents a comprehensive review and analysis of the recent progress of CL in NLP, which has significant differences from CL in computer vision and machine learning. It covers (1) all CL settings with a taxonomy of existing techniques; (2) catastrophic forgetting (CF) prevention, (3) knowledge transfer (KT), which is particularly important for NLP tasks; and (4) some theory and the hidden challenge of inter-task class separation (ICS). (1), (3) and (4) have not been included in the existing survey. Finally, a list of future directions is discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL