DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution

要約

大規模な事前トレーニング済みモデルの微調整は、本質的にリソースを大量に消費するタスクです。
モデルの機能を強化できる一方で、かなりの計算コストも発生し、下流タスクの実際の適用に課題をもたらします。
低ランク適応 (LoRA) などの既存のパラメーター効率の良い微調整 (PEFT) 手法は、重み行列全体の差分パラメーター バジェット要件を無視するバイパス フレームワークに依存しているため、最適化されていない微調整結果が生じる可能性があります。
この問題に対処するために、動的低ランク適応 (DoRA) 手法を導入します。
DoRA は、高ランクの LoRA レイヤーを構造化された単一ランクのコンポーネントに分解し、トレーニング中の特定のタスクに対する重要性に基づいてパラメータ バジェットを動的にプルーニングできるようにし、限られたパラメータ バジェットを最大限に活用します。
実験結果は、DoRA が LoRA およびフルモデル微調整と比較して競争力のあるパフォーマンスを達成でき、同じストレージ パラメーター バジェットでさまざまな強力なベースラインを上回るパフォーマンスを発揮できることを示しています。
私たちのコードは https://github.com/MIkumikumi0116/DoRA で入手できます。

要約(オリジナル)

Fine-tuning large-scale pre-trained models is inherently a resource-intensive task. While it can enhance the capabilities of the model, it also incurs substantial computational costs, posing challenges to the practical application of downstream tasks. Existing parameter-efficient fine-tuning (PEFT) methods such as Low-Rank Adaptation (LoRA) rely on a bypass framework that ignores the differential parameter budget requirements across weight matrices, which may lead to suboptimal fine-tuning outcomes. To address this issue, we introduce the Dynamic Low-Rank Adaptation (DoRA) method. DoRA decomposes high-rank LoRA layers into structured single-rank components, allowing for dynamic pruning of parameter budget based on their importance to specific tasks during training, which makes the most of the limited parameter budget. Experimental results demonstrate that DoRA can achieve competitive performance compared with LoRA and full model fine-tuning, and outperform various strong baselines with the same storage parameter budget. Our code is available at https://github.com/MIkumikumi0116/DoRA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google