Prefix-Tuning+: Modernizing Prefix-Tuning by Decoupling the Prefix from Attention

要約

パラメーター効率の高い微調整（PEFT）メソッドは、大規模な言語モデル（LLM）をダウンストリームタスクに迅速に適応させるために重要になっています。
初期の効果的なPEFT技術であるプレフィックスチューニングは、計算およびメモリのオーバーヘッドが大幅に減少し、完全な微調整に匹敵するパフォーマンスを達成する能力を実証しました。
しかし、以前の成功にもかかわらず、最新の最先端のLLMSのトレーニングにおけるその有効性は非常に限られています。
この作業では、注意ヘッド内の入力と接頭辞の有意性との固有のトレードオフのために、プレフィックスチューニングがLLMのパフォーマンスを低下させることを経験的に示します。
これにより、Prefix-Tuning+を導入するようになります。プレフィックスチューニングの原理を一般化しながら、Attention Head自体からプレフィックスモジュールをシフトすることで欠点に対処する新しいアーキテクチャです。
さらに、独自のコンテキストベースの方法を構築する際に将来のユーザーをガイドするための建設プロセスの概要を説明します。
私たちの実験は、さまざまなベンチマークのセットで、プレフィックスチューニング+が既存のプレフィックスチューニングメソッドを常に上回ることを示しています。
特に、いくつかの一般的なベンチマークで広く採用されているLORAメソッドと同等のパフォーマンスを実現し、プレフィックスチューニングアプローチの潜在的な最新の拡張を強調しています。
私たちの調査結果は、その固有の制限を克服することにより、プレフィックス調整がパラメーター効率の高いLLM適応の状況における競争的で関連する研究の方向性を維持できることを示唆しています。

要約(オリジナル)

Parameter-Efficient Fine-Tuning (PEFT) methods have become crucial for rapidly adapting large language models (LLMs) to downstream tasks. Prefix-Tuning, an early and effective PEFT technique, demonstrated the ability to achieve performance comparable to full fine-tuning with significantly reduced computational and memory overhead. However, despite its earlier success, its effectiveness in training modern state-of-the-art LLMs has been very limited. In this work, we demonstrate empirically that Prefix-Tuning underperforms on LLMs because of an inherent tradeoff between input and prefix significance within the attention head. This motivates us to introduce Prefix-Tuning+, a novel architecture that generalizes the principles of Prefix-Tuning while addressing its shortcomings by shifting the prefix module out of the attention head itself. We further provide an overview of our construction process to guide future users when constructing their own context-based methods. Our experiments show that, across a diverse set of benchmarks, Prefix-Tuning+ consistently outperforms existing Prefix-Tuning methods. Notably, it achieves performance on par with the widely adopted LoRA method on several general benchmarks, highlighting the potential modern extension of Prefix-Tuning approaches. Our findings suggest that by overcoming its inherent limitations, Prefix-Tuning can remain a competitive and relevant research direction in the landscape of parameter-efficient LLM adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google