GoRA: Gradient-driven Adaptive Low Rank Adaptation

要約

低ランク適応（LORA）は、ランクの選択と重量の初期化という2つの重要な要因に影響される、その有効性を効率的に微調整するための重要な方法（LLMS）です。
これらの側面の1つに対処することでパフォーマンスを改善するために多数のLORAバリエーションが提案されていますが、それらはしばしば使いやすさや計算効率を妥協します。
この論文では、既存のアプローチの中核的な制限を分析および特定し、統一されたフレームワーク内でランクと初期化戦略の両方を同時に適応させる新しいフレームワーク（勾配駆動型の適応低ランク適応）を提案します。
Goraは、トレーニング中に勾配情報を活用して、最適なランクを動的に割り当て、低ランクアダプターの重みを適応的に初期化します。
私たちの知る限り、ゴラは、ランクの選択または単独の初期化に焦点を当てた以前のアプローチの制限に対処するだけでなく、単一のフレームワーク内の両方の側面を統一し、より効果的で効率的な適応を可能にする最初の方法です。
さまざまなアーキテクチャとモダリティにわたる広範な実験は、Goraがバニラロラの効率を維持しながら、既存のロラベースの方法を常に上回ることを示しています。
たとえば、数学的な推論のためにllama3.1-8bベースを微調整する場合、Goraは標準のLORAよりも5.13ポイントの改善を達成し、高ランクの設定で2.05ポイントの完全な微調整を上回ります。

要約(オリジナル)

Low-Rank Adaptation (LoRA) is a crucial method for efficiently fine-tuning large language models (LLMs), with its effectiveness influenced by two key factors: rank selection and weight initialization. While numerous LoRA variants have been proposed to improve performance by addressing one of these aspects, they often compromise usability or computational efficiency. In this paper, we analyze and identify the core limitations of existing approaches and propose a novel framework — GoRA (Gradient-driven Adaptive Low Rank Adaptation) — that simultaneously adapts both the rank and initialization strategy within a unified framework. GoRA leverages gradient information during training to dynamically assign optimal ranks and initialize low-rank adapter weights in an adaptive manner. To our knowledge, GoRA is the first method that not only addresses the limitations of prior approaches — which often focus on either rank selection or initialization in isolation — but also unifies both aspects within a single framework, enabling more effective and efficient adaptation. Extensive experiments across various architectures and modalities show that GoRA consistently outperforms existing LoRA-based methods while preserving the efficiency of vanilla LoRA. For example, when fine-tuning Llama3.1-8B-Base for mathematical reasoning, GoRA achieves a 5.13-point improvement over standard LoRA and even outperforms full fine-tuning by 2.05 points under high-rank settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google