Continual Learning of Language Models

要約

言語モデル（LM）は、自然言語処理の急速な発展に寄与してきた。本論文では、言語モデルの継続的な学習、特に継続的なドメイン適応型事前学習(continual DAP-training)を研究する。既存の研究では、ドメインコーパスを用いてLMをドメインに適応させる事前学習をさらに行うことで、ドメインでのエンドタスク性能を向上させることができることが示されている。本論文では、一連のラベルなしドメインコーパスを用いてLMを継続的にDAP訓練し、LMをこれらのドメインに適応させ、エンドタスク性能を向上させる新規手法を提案する。本手法の主要な新規性は、LMへの更新を直接制御するソフトマスキング機構である。また、元のLMに含まれる一般的な知識を保持するための新しいプロキシも提案される。さらに、知識の統合を実現するために、事前に学習したドメイン知識（事前学習済みLMの一般知識を含む）と現在のフルネットワークからの知識の表現を対比させる。本手法は、壊滅的な忘却を克服するだけでなく、エンドタスクのパフォーマンスを向上させるための知識伝達を実現する。実証評価により、提案手法の有効性が実証された。

要約(オリジナル)

Language models (LMs) have been instrumental for the rapid advance of natural language processing. This paper studies continual learning of LMs, in particular, continual domain-adaptive pre-training (or continual DAP-training). Existing research has shown that further pre-training an LM using a domain corpus to adapt the LM to the domain can improve the end-task performance in the domain. This paper proposes a novel method to continually DAP-train an LM with a sequence of unlabeled domain corpora to adapt the LM to these domains to improve their end-task performances. The key novelty of our method is a soft-masking mechanism that directly controls the update to the LM. A novel proxy is also proposed to preserve the general knowledge in the original LM. Additionally, it contrasts the representations of the previously learned domain knowledge (including the general knowledge in the pre-trained LM) and the knowledge from the current full network to achieve knowledge integration. The method not only overcomes catastrophic forgetting, but also achieves knowledge transfer to improve end-task performances. Empirical evaluation demonstrates the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL