HFT: Half Fine-Tuning for Large Language Models

要約

1 つ以上の微調整フェーズを備えた大規模言語モデル (LLM) は、さまざまな機能を解放するために必要なステップとなっており、LLM が自然言語の指示に従ったり、人間の好みに合わせたりできるようになります。
ただし、連続トレーニング中に壊滅的な忘れが生じるリスクがあり、前の段階で学習したパラメトリック知識や能力が、受信するトレーニング データによって圧倒される可能性があります。
この論文では、部分パラメータを定期的にリセットすることで、LLM が元の知識の一部を復元できることを発見しました。
これに触発されて、忘却の問題を軽減するために、フル微調整 (FFT) の代わりに、LLM のハーフ微調整 (HFT) を導入しました。パラメータの半分は新しいタスクを学習するために選択され、残りの半分は学習用に選択されます。
以前の知識を残すために凍結されます。
最適化の観点から実現可能性分析を提供し、パラメーター選択操作を正則化項として解釈します。
モデル アーキテクチャを変更せずに、HFT を既存の微調整フレームワークにシームレスに統合できます。
教師あり微調整、直接優先最適化、継続的学習に関する広範な実験と分析により、HFT の有効性、堅牢性、効率性が一貫して実証されています。
FFT と比較して、HFT は忘却の問題を大幅に軽減するだけでなく、一連のダウンストリーム ベンチマークで最高のパフォーマンスを達成し、トレーニング時間を約 30% 削減します。

要約(オリジナル)

Large language models (LLMs) with one or more fine-tuning phases have become a necessary step to unlock various capabilities, enabling LLMs to follow natural language instructions or align with human preferences. However, it carries the risk of catastrophic forgetting during sequential training, the parametric knowledge or the ability learned in previous stages may be overwhelmed by incoming training data. In this paper, we find that by regularly resetting partial parameters, LLMs can restore some of the original knowledge. Inspired by this, we introduce Half Fine-Tuning (HFT) for LLMs, as a substitute for full fine-tuning (FFT), to mitigate the forgetting issues, where half of the parameters are selected to learn new tasks while the other half are frozen to remain previous knowledge. We provide a feasibility analysis from the perspective of optimization and interpret the parameter selection operation as a regularization term. Without changing the model architecture, HFT could be seamlessly integrated into existing fine-tuning frameworks. Extensive experiments and analysis on supervised fine-tuning, direct preference optimization, and continual learning consistently demonstrate the effectiveness, robustness, and efficiency of HFT. Compared with FFT, HFT not only significantly alleviates the forgetting problem, but also achieves the best performance in a series of downstream benchmarks, with an approximately 30% reduction in training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google