Demystifying Language Model Forgetting with Low-rank Example Associations

要約

大規模言語モデル(LLM)は、微調整の際に上流データの忘却に悩まされる。忘却を軽減する努力にもかかわらず、忘却された上流の例が新しく学習されたタスクに依存しているか、またどのように関連付けられているかを調査した例はほとんどない。このような関連性についての知見は、効率的で的を絞った忘却の緩和を可能にする。本論文では、言語モデリングや命令チューニングの$N$個の上流例において、$M$個の新しいタスクの一つでLLMを微調整した後に発生する忘却（対数パープレキシティ増加で測定）を経験的に解析し、$M倍N$個の行列で可視化する。我々は、行列が単純な低ランクパターンを示し、多くの場合、上流の例と新しく学習したタスクの乗法的スカラー効果でよく近似されることを示す。また、視覚化と統計とのきめ細かな関連についても調べる。連想の低ランクの性質を利用し、経験的な連想に対する行列補完を用いて未知のタスクで微調整を行う際に、上流の例の忘却を予測する。これにより、上流データ全体に対する高価な推論を行うことなく、最も忘れられた例を高速に特定することができる。このアプローチは、単純であるにもかかわらず、学習したタスクと上流例の意味的関係をLMで学習する先行アプローチを、忘却予測のために凌駕する。本アプローチは、学習したタスクと上流例の意味的関係を学習し、LMを用いて忘却を予測する先行アプローチよりも優れている。プロジェクトページ: https://inklab.usc.edu/lm-forgetting-prediction/

要約(オリジナル)

Large Language models (LLMs) suffer from forgetting of upstream data when fine-tuned. Despite efforts on mitigating forgetting, few have investigated whether, and how forgotten upstream examples are dependent on and associated with newly learned tasks. Insights on such associations enable efficient and targeted mitigation of forgetting. In this paper, we empirically analyze forgetting (measured in log-perplexity increase) that occurs in $N$ upstream examples of language modeling or instruction-tuning after fine-tuning LLMs on one of $M$ new tasks, visualized in $M\times N$ matrices. We demonstrate that the matrices display simple low-rank patterns, often well-approximated with multiplicative scalar effects of upstream examples and newly learned tasks. We also examine fine-grained associations with visualization and statistics. Leveraging the low-rank nature of the associations, we predict forgetting of upstream examples when fine-tuning on unseen tasks with matrix completion over the empirical associations. This enables fast identification of most forgotten examples without expensive inference on the entire upstream data. The approach, despite simplicity, outperforms prior approaches that learn semantic relationships of learned tasks and upstream examples with LMs for predicting forgetting. We demonstrate the practical utility of our analysis by showing statistically significantly reduced forgetting as we upweight predicted examples for replay at fine-tuning. Project page: https://inklab.usc.edu/lm-forgetting-prediction/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL