Learning or Self-aligning? Rethinking Instruction Fine-tuning

要約

命令微調整~(IFT)は、大規模言語モデル~(LLM)を構築する際の重要なフェーズです。
これまでの研究は主に、行動規範の伝達と追加の世界知識の学習における IFT の役割に焦点を当てていました。
ただし、IFT の基礎となるメカニズムの理解は依然として大幅に限られています。
この論文では、IFT の潜在的な根底にある要因を分離する知識介入フレームワークを設計し、それによってさまざまな要因の個別分析を可能にします。
驚くべきことに、私たちの実験では、IFT を通じて追加の世界の知識を学ぼうとすると、プラスの効果がなかなか得られず、場合によっては著しくマイナスの効果をもたらす可能性があることが明らかになりました。
さらに、IFT の前後で内部知識の一貫性を維持することが、IFT を成功させるための重要な要素であることがわかりました。
私たちの調査結果は、IFT の基礎となるメカニズムを明らかにし、ごく最近の研究と将来の可能性のある研究に対する強力なサポートを提供します。

要約(オリジナル)

Instruction Fine-tuning~(IFT) is a critical phase in building large language models~(LLMs). Previous works mainly focus on the IFT’s role in the transfer of behavioral norms and the learning of additional world knowledge. However, the understanding of the underlying mechanisms of IFT remains significantly limited. In this paper, we design a knowledge intervention framework to decouple the potential underlying factors of IFT, thereby enabling individual analysis of different factors. Surprisingly, our experiments reveal that attempting to learn additional world knowledge through IFT often struggles to yield positive impacts and can even lead to markedly negative effects. Further, we discover that maintaining internal knowledge consistency before and after IFT is a critical factor for achieving successful IFT. Our findings reveal the underlying mechanisms of IFT and provide robust support for some very recent and potential future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google