An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning

要約

壊滅的忘却 (CF) は、下流のタスクで満足のいくパフォーマンスを達成するための新しい知識を取得する際に、モデルが以前に学習した情報を忘れるときに機械学習で発生する現象です。
大規模言語モデル (LLM) は顕著なパフォーマンスを示しているため、LLM の継続的な命令チューニング中に CF が存在するかどうかを調査することは興味深いものです。
本研究は、継続的な指導チューニング中のLLMの知識の忘却現象を、領域知識、推論、読解の観点から実証的に評価したものである。
実験により、壊滅的な忘却は一般に 1b から 7b パラメータの範囲の LLM で観察されることが明らかになりました。
驚くべきことに、モデルの規模が大きくなるにつれて、このようなモデルの販売範囲では忘却の深刻さが増します。これは、より大きな LLM での非常に重要な初期パフォーマンスの結果である可能性があります。
デコーダのみのモデル BLOOMZ とエンコーダ/デコーダ モデル mT0 を比較すると、BLOOMZ の方が忘却が少なく、より多くの知識を保持します。
興味深いことに、LLM は継続的な微調整中にジェンダーバイアスなどの言語バイアスを軽減できることも観察されています。
さらに、我々の調査結果は、一般的な命令チューニングが、その後の微調整中に LLM の忘却現象を軽減するのに役立つことを示しています。

要約(オリジナル)

Catastrophic forgetting (CF) is a phenomenon that occurs in machine learning when a model forgets previously learned information while acquiring new knowledge for achieving a satisfactory performance in downstream tasks. As large language models (LLMs) have demonstrated remarkable performance, it is intriguing to investigate whether CF exists during the continual instruction tuning of LLMs. This study empirically evaluates the forgetting phenomenon in LLMs’ knowledge during continual instruction tuning from the perspectives of domain knowledge, reasoning, and reading comprehension. The experiments reveal that catastrophic forgetting is generally observed in LLMs ranging from 1b to 7b parameters. Surprisingly, as the model scale increases, the severity of forgetting intensifies in such a model sale range which may result from the much significant initial performance in the larger LLM. Comparing the decoder-only model BLOOMZ with the encoder-decoder model mT0, BLOOMZ exhibits less forgetting and retains more knowledge. Interestingly, we also observe that LLMs can mitigate language biases, such as gender bias, during continual fine-tuning. Furthermore, our findings indicate that general instruction tuning can help alleviate the forgetting phenomenon in LLMs during subsequent fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google