One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning

要約

汎用的なパラメーター効率の高い微調整タスクのための高度なアプローチである Generalized LoRA (GLoRA) を紹介します。
低ランク適応 (LoRA) を強化する GLoRA は、一般化されたプロンプト モジュールを採用して、事前トレーニングされたモデルの重みを最適化し、中間アクティベーションを調整し、多様なタスクとデータセットにわたってより高い柔軟性と機能を提供します。
さらに、GLoRA は、各層の個々のアダプターを学習するスケーラブルなモジュール式の層ごとの構造検索を採用することにより、効率的なパラメーター適応を促進します。
統一された数学的定式化に由来する GLoRA は、重みだけでなく活性化などの追加の次元を通じて新しいタスクに適応するため、強力な転移学習、少数ショット学習、およびドメイン汎化能力を発揮します。
包括的な実験により、GLoRA は自然視覚、特殊視覚、構造視覚ベンチマークにおいてこれまでのすべての手法を上回り、より少ないパラメータと計算で優れた精度を達成できることが実証されました。
LLaMA-1 および LLaMA-2 で提案された方法は、言語ドメインにおいて元の LoRA と比較して大幅な機能強化も示しています。
さらに、当社の構造再パラメータ化設計により、GLoRA は余分な推論コストがかからず、リソースが限られたアプリケーションにとって実用的なソリューションとなります。
コードとモデルは、https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA から入手できます。

要約(オリジナル)

We present Generalized LoRA (GLoRA), an advanced approach for universal parameter-efficient fine-tuning tasks. Enhancing Low-Rank Adaptation (LoRA), GLoRA employs a generalized prompt module to optimize pre-trained model weights and adjust intermediate activations, providing more flexibility and capability across diverse tasks and datasets. Moreover, GLoRA facilitates efficient parameter adaptation by employing a scalable, modular, layer-wise structure search that learns individual adapter of each layer. Originating from a unified mathematical formulation, GLoRA exhibits strong transfer learning, few-shot learning and domain generalization abilities, as it adapts to new tasks through not only weights but also additional dimensions like activations. Comprehensive experiments demonstrate that GLoRA outperforms all previous methods in natural, specialized, and structured vision benchmarks, achieving superior accuracy with fewer parameters and computations. The proposed method on LLaMA-1 and LLaMA-2 also show considerable enhancements compared to the original LoRA in the language domain. Furthermore, our structural re-parameterization design ensures that GLoRA incurs no extra inference cost, rendering it a practical solution for resource-limited applications. Code and models are available at: https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google