Compositional Subspace Representation Fine-tuning for Adaptive Large Language Models

要約

大規模な言語モデルを複数のタスクに適応させると、クロススキル干渉を引き起こす可能性があり、あるスキルの干渉を引き起こす可能性があり、あるスキルの改善が別のスキルを劣化させます。
Loraなどの方法は、重量レベルで直交の制約を課していますが、隠された状態表現の干渉に完全に対処していません。
複数のオルソーマルサブスペース変換を学習する新しい表現ベースのアプローチである構成サブスペース表現微調整（CS-Reft）を提案します。
CS-Reftは、重量行列ではなく隠された状態でこれらの部分空間編集を分離することにより、クロスタスクの競合をより効果的に防ぎます。
アルパカエバルのベンチマークでは、Llama-2-7BにCS-Reftを適用すると93.94％の勝利が達成され、GPT-3.5ターボ（86.30％）を超えて、モデルパラメーターの0.0098％のみが必要です。
これらの調査結果は、単純なルーターを介して構成された特殊な表現編集が、最小限のオーバーヘッドで次のマルチタスク命令を大幅に強化することを示しています。

要約(オリジナル)

Adapting large language models to multiple tasks can cause cross-skill interference, where improvements for one skill degrade another. While methods such as LoRA impose orthogonality constraints at the weight level, they do not fully address interference in hidden-state representations. We propose Compositional Subspace Representation Fine-tuning (CS-ReFT), a novel representation-based approach that learns multiple orthonormal subspace transformations, each specializing in a distinct skill, and composes them via a lightweight router. By isolating these subspace edits in the hidden state, rather than weight matrices, CS-ReFT prevents cross-task conflicts more effectively. On the AlpacaEval benchmark, applying CS-ReFT to Llama-2-7B achieves a 93.94% win rate, surpassing GPT-3.5 Turbo (86.30%) while requiring only 0.0098% of model parameters. These findings show that specialized representation edits, composed via a simple router, significantly enhance multi-task instruction following with minimal overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google