Understanding Layer Significance in LLM Alignment

要約

監視された微調整を介した大規模な言語モデル（LLM）を調整することは、特定のアプリケーションに合わせて調整するために不可欠です。
最近の研究では、アラインメントが基本的な知識ではなく、モデルのプレゼンテーションスタイルを主に調整することを示唆しており、モデルの特定のコンポーネントのみが大きな影響を受けていることを示しています。
アラインメントが粒状レベルでモデルの動作にどのように影響するかを明らかにするために、LLM内のどの層がアライメントプロセスにとって最も重要であるかを特定することを提案します。
ILAという名前の私たちのアプローチは、層の有意性の指標として、アラインメント中の各層のパラメーターの変化のバイナリマスクを学習することを伴います。
実験結果は、アライメントデータセットの実質的な違いにもかかわらず、ILAによって識別されるモデルの重要な層がほぼ90％の重複を示し、LLMアライメントの基本パターンを強調することを明らかにしています。
また、結果は、非必須層の凍結により全体的なモデルのパフォーマンスが向上することを示していますが、最も重要な層を選択的に調整すると、パフォーマンスの低下で微調整効率が大幅に向上します。
最後に、これらの調査結果がLLMアライメントから推論にどのように及ぶかについて説明します。

要約(オリジナル)

Aligning large language models (LLMs) through supervised fine-tuning is essential for tailoring them to specific applications. Recent studies suggest that alignment primarily adjusts a model’s presentation style rather than its foundational knowledge, indicating that only certain components of the model are significantly impacted. To uncover how alignment affects model behavior at a granular level, we propose identifying which layers within LLMs are most critical to the alignment process. Our approach, named ILA, involves learning a binary mask for the parameter changes in each layer during alignment, as an indicator of layer significance. Experimental results reveal that, despite substantial differences in alignment datasets, the important layers of a model identified by ILA exhibit nearly 90\% overlap, highlighting fundamental patterns in LLM alignment. The results also indicate that freezing non-essential layers improves overall model performance, while selectively tuning the most critical layers significantly enhances fine-tuning efficiency with minimal performance loss. Finally, we discuss how these findings extend from LLM alignment to reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google