Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge

要約

大規模な言語モデル（LLMS）は、微調整を通じてタスク固有の強力な機能を示しますが、複数の微調整されたモデルを統合すると、命令に従うコンポーネントが重複するため、パフォーマンスが低下します。
タスク算術（TA）は、微調整から導出されたタスクベクトルを組み合わせて、マルチタスクの学習とタスクの忘却を可能にしますが、一般的な指導に従う動作からタスク固有の知識を分離するのに苦労します。
これに対処するために、レイヤーアウェアタスク算術（LATA）を提案します。これは、命令フォローまたはタスク固有のコンポーネントとのアライメントに基づいて、レイヤー固有の重みをタスクベクトルに割り当てる新しいアプローチです。
タスクに関連するレイヤーを増幅し、命令に従うレイヤーを減衰させることにより、LATAはタスクの学習とパフォーマンスを忘れながら、全体的なモデルのユーティリティを維持します。
Wikitext-2、GSM8K、およびHumanvalを含む複数のベンチマークでの実験は、ラタがマルチタスク学習と選択的タスクの両方で既存の方法を上回ることを示しています。
私たちの調査結果は、タスク固有の一般的な知識を解き放つ際のレイヤーごとの分析の重要性を強調し、効率的なモデルのマージと編集のための堅牢なフレームワークを提供します。

要約(オリジナル)

Large language models (LLMs) demonstrate strong task-specific capabilities through fine-tuning, but merging multiple fine-tuned models often leads to degraded performance due to overlapping instruction-following components. Task Arithmetic (TA), which combines task vectors derived from fine-tuning, enables multi-task learning and task forgetting but struggles to isolate task-specific knowledge from general instruction-following behavior. To address this, we propose Layer-Aware Task Arithmetic (LATA), a novel approach that assigns layer-specific weights to task vectors based on their alignment with instruction-following or task-specific components. By amplifying task-relevant layers and attenuating instruction-following layers, LATA improves task learning and forgetting performance while preserving overall model utility. Experiments on multiple benchmarks, including WikiText-2, GSM8K, and HumanEval, demonstrate that LATA outperforms existing methods in both multi-task learning and selective task forgetting, achieving higher task accuracy and alignment with minimal degradation in output quality. Our findings highlight the importance of layer-wise analysis in disentangling task-specific and general-purpose knowledge, offering a robust framework for efficient model merging and editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google