Learning or Self-aligning? Rethinking Instruction Fine-tuning

要約

インストラクション・ファインチューニング(IFT)は、大規模言語モデル(LLM)の構築において重要な段階である。これまでの研究では、主に行動規範の伝達と追加的な世界知識の学習におけるIFTの役割に焦点が当てられている。しかし、IFTの基礎となるメカニズムについての理解は、まだかなり限られている。本論文では、IFTの潜在的な基礎要因を切り離し、異なる要因の個別分析を可能にする知識介入フレームワークを設計する。驚くべきことに、我々の実験から、IFTを通じて世界の知識を追加学習しようとしても、ポジティブな効果が得られないことが多く、著しくネガティブな効果につながることさえあることが明らかになった。さらに、IFTの前後で内部知識の一貫性を維持することが、IFTを成功させるための重要な要因であることも発見した。私たちの発見は、IFTの基礎となるメカニズムを明らかにし、ごく最近の、そして将来起こりうるいくつかの研究に対して確かな裏付けを与えるものである。

要約(オリジナル)

Instruction Fine-tuning~(IFT) is a critical phase in building large language models~(LLMs). Previous works mainly focus on the IFT’s role in the transfer of behavioral norms and the learning of additional world knowledge. However, the understanding of the underlying mechanisms of IFT remains significantly limited. In this paper, we design a knowledge intervention framework to decouple the potential underlying factors of IFT, thereby enabling individual analysis of different factors. Surprisingly, our experiments reveal that attempting to learn additional world knowledge through IFT often struggles to yield positive impacts and can even lead to markedly negative effects. Further, we discover that maintaining internal knowledge consistency before and after IFT is a critical factor for achieving successful IFT. Our findings reveal the underlying mechanisms of IFT and provide robust support for some very recent and potential future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL