An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning

要約

壊滅的忘却 (CF) は、モデルが新しい情報を学習するときに以前に学習した情報を忘れるときに機械学習で発生する現象です。
大規模言語モデル (LLM) は優れたパフォーマンスを示しているため、LLM の継続的な微調整に CF が存在するかどうかを明らかにすることは興味深いことです。
本研究では、LLMの知識における忘却現象を、領域知識、推論、読解の観点から実証的に評価する。
実験は、壊滅的な忘却が一般に 1b から 7b の範囲の LLM で観察されることを示しています。
さらに、規模が大きくなるにつれて物忘れの深刻さも増します。
デコーダのみのモデル BLOOMZ とエンコーダ/デコーダ モデル mT0 を比較すると、BLOOMZ の方が忘却が少なく、より多くの知識を維持できます。
また、LLM は継続的な微調整中に言語のバイアス (性別によるバイアスなど) を軽減できることも観察しています。
さらに、ALPACA は継続的な微調整中に LLAMA と比較してより多くの知識と能力を維持できることがわかりました。これは、一般的な命令チューニングが、さらなる微調整プロセスにおける LLM の忘却現象を軽減するのに役立つことを意味します。

要約(オリジナル)

Catastrophic forgetting (CF) is a phenomenon that occurs in machine learning when a model forgets previously learned information as it learns new information. As large language models (LLMs) have shown excellent performance, it is interesting to uncover whether CF exists in the continual fine-tuning of LLMs. In this study, we empirically evaluate the forgetting phenomenon in LLMs’ knowledge, from the perspectives of domain knowledge, reasoning, and reading comprehension. The experiments demonstrate that catastrophic forgetting is generally observed in LLMs ranging from 1b to 7b. Furthermore, as the scale increases, the severity of forgetting also intensifies. Comparing the decoder-only model BLOOMZ with the encoder-decoder model mT0, BLOOMZ suffers less forgetting and maintains more knowledge. We also observe that LLMs can mitigate language bias (e.g. gender bias) during continual fine-tuning. Moreover, we find that ALPACA can maintain more knowledge and capacity compared with LLAMA during the continual fine-tuning, which implies that general instruction tuning can help mitigate the forgetting phenomenon of LLMs in the further fine-tuning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google