Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models

要約

大規模言語モデル (LLM) の最近の進歩により、テキストの理解と生成におけるその驚くべき機能が実証されました。
ただし、より強力な LLM であっても、トレーニング コーパスから誤った情報や古い情報を取得する可能性があります。
新しい知識を含むデータを使用した直接的な二次微調整は、古い知識と新しい知識が矛盾するため、知識の更新に効果がない可能性があります。
この論文では、F-Learning (Forgetting before Learning) と呼ばれる微調整のための新しいパラダイムを提案します。これは、古い知識の忘れと新しい知識の学習を促進するためにパラメトリック演算を使用します。
2 つの公的に利用可能なデータセットに関する実験結果は、私たちが提案した F ラーニングが、完全な微調整と LoRA 微調整の両方の知識更新パフォーマンスを明らかに向上させ、ほとんどの場合、同時に既存のベースラインを上回るパフォーマンスを発揮できることを示しています。
さらに、LoRA のパラメータを減算して古い知識を忘れると、完全な微調整のパラメータを減算した場合と同様の効果が得られ、場合によってはそれを大幅に上回る効果が得られることも発見しました。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have showcased their remarkable capabilities in text understanding and generation. However, even stronger LLMs are susceptible to acquiring erroneous or obsolete information from the training corpus. Direct secondary fine-tuning with data containing new knowledge may be ineffective in updating knowledge due to the conflict between old and new knowledge. In this paper, we propose a new paradigm for fine-tuning called F-Learning (Forgetting before Learning), which employs parametric arithmetic to facilitate the forgetting of old knowledge and learning of new knowledge. Experimental results on two publicly available datasets demonstrate that our proposed F-Learning can obviously improve the knowledge updating performance of both full fine-tuning and LoRA fine-tuning, simultaneously outperforming the existing baselines in most cases. Moreover, we have also discovered that forgetting old knowledge by subtracting the parameters of LoRA can yield a similar effect to subtracting the parameters of full fine-tuning, and occasionally even surpass it significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google