Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs

要約

大規模言語モデル (LLM) の微調整は、事前トレーニングされたモデルを下流のタスクに適応させるための重要な手法となっています。
ただし、LLM のサイズが膨大であるため、計算の複雑さとリソース要件の点で大きな課題が生じます。
Low-Rank Adaptation (LoRA) が有望なソリューションとして浮上しています。
ただし、低ランク適応の実際のパフォーマンスと理論上の最適値の間にはギャップが存在します。
この研究では、アンサンブル学習の力を活用してこのギャップを埋める新しいフレームワークである eXtreme Gradient Boosting LoRA (XGBLoRA) を提案します。
勾配ブースティングにヒントを得た XGBLoRA は、一連の LoRA 適応を繰り返し学習してマージし、モデル予測を改良します。
ランク 1 適応の計算効率を享受しながら、標準の LoRA よりも優れたパフォーマンスを実現します。
私たちは、アプローチの収束性と最適性を示す理論分析を提供し、さまざまな自然言語処理タスクについて広範な実験を実施します。
結果は、XGBLoRA が標準 LoRA を常に上回っており、大幅に少ないトレーニング可能なパラメーターで完全な微調整に匹敵するパフォーマンスを達成していることを示しています。
この取り組みにより、LLM のパラメータ効率の高い微調整が前進し、パフォーマンスと効率を最適化しながら LLM を下流のタスクに適応させるための有望なソリューションが提供されます。

要約(オリジナル)

Fine-tuning Large Language Models (LLMs) has become a crucial technique for adapting pre-trained models to downstream tasks. However, the enormous size of LLMs poses significant challenges in terms of computational complexity and resource requirements. Low-Rank Adaptation (LoRA) has emerged as a promising solution. However, there exists a gap between the practical performance of low-rank adaptations and its theoretical optimum. In this work, we propose eXtreme Gradient Boosting LoRA (XGBLoRA), a novel framework that bridges this gap by leveraging the power of ensemble learning. Inspired by gradient boosting, XGBLoRA iteratively learns and merges a sequence of LoRA adaptations to refine model predictions. It achieves better performance than the standard LoRA, while enjoying the computational efficiency of rank-1 adaptations. We provide theoretical analysis to show the convergence and optimality of our approach, and conduct extensive experiments on a range of natural language processing tasks. The results demonstrate that XGBLoRA consistently outperforms standard LoRA and achieves performance comparable to full fine-tuning with significantly fewer trainable parameters. This work advances parameter-efficient fine-tuning for LLMs, and offers a promising solution for adapting LLMs to downstream tasks while optimizing performance and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google