One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning

要約

汎用的なパラメーター効率の高い微調整タスクのための高度なアプローチである Generalized LoRA (GLoRA) を紹介します。
低ランク適応 (LoRA) を強化する GLoRA は、一般化されたプロンプト モジュールを採用して、事前トレーニングされたモデルの重みを最適化し、中間アクティベーションを調整し、多様なタスクとデータセットにわたってより高い柔軟性と機能を提供します。
さらに、GLoRA は、各層の個々のアダプターを学習するスケーラブルなモジュール式の層ごとの構造検索を採用することにより、効率的なパラメーター適応を促進します。
統一された数学的定式化に由来する GLoRA は、重みとアクティベーションの追加次元を通じて新しいタスクに適応するため、強力な転移学習、少数ショット学習、およびドメイン汎化能力を発揮します。
包括的な実験により、GLoRA は自然ベンチマーク、特殊ベンチマーク、構造化ベンチマークにおいてこれまでのすべての手法を上回っており、さまざまなデータセットでより少ないパラメータと計算で優れた精度を実現していることが実証されています。
さらに、当社の構造再パラメータ化設計により、GLoRA は余分な推論コストがかからず、リソースが限られたアプリケーションにとって実用的なソリューションとなります。
コードは https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA から入手できます。

要約(オリジナル)

We present Generalized LoRA (GLoRA), an advanced approach for universal parameter-efficient fine-tuning tasks. Enhancing Low-Rank Adaptation (LoRA), GLoRA employs a generalized prompt module to optimize pre-trained model weights and adjust intermediate activations, providing more flexibility and capability across diverse tasks and datasets. Moreover, GLoRA facilitates efficient parameter adaptation by employing a scalable, modular, layer-wise structure search that learns individual adapter of each layer. Originating from a unified mathematical formulation, GLoRA exhibits strong transfer learning, few-shot learning and domain generalization abilities, as it adjusts to new tasks through additional dimensions on weights and activations. Comprehensive experiments demonstrate that GLoRA outperforms all previous methods in natural, specialized, and structured benchmarks, achieving superior accuracy with fewer parameters and computations on various datasets. Furthermore, our structural re-parameterization design ensures that GLoRA incurs no extra inference cost, rendering it a practical solution for resource-limited applications. Code is available at: https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google