TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

要約

大規模言語モデル (LLM) の微調整は、さまざまな下流タスクにわたって最適なパフォーマンスを達成するために極めて重要です。
ただし、完全に微調整すると優れた結果が得られますが、膨大な計算コストとリソース コストがかかります。
LoRA などのパラメーター効率の良い微調整 (PEFT) 手法は、トレーニング可能なパラメーターの数を減らすことでこれらの課題に対処しますが、ランク調整の効率性やタスク固有の適応性に苦戦することがよくあります。
私たちは、神経科学の原理に触発された新しい PEFT フレームワークである Triangular Adaptive Low-Rank Adaptation (TriAdaptLoRA) を提案します。これは、トレーニング可能なパラメーターの割り当てを動的に最適化します。
TriAdaptLoRA は 3 つの重要な革新を導入しています: 1) パラメータ利用率を最大化するための変換行列の下三角コンポーネントと上三角コンポーネントへの三角分割、2) 効率的な適応のための正規化されたフロベニウスノルムに基づくパラメータ重要度メトリクス、および 3) 管理される適応ランク成長戦略
動的なしきい値によって、トレーニングステップ全体で柔軟なパラメータ割り当てが可能になります。
さまざまな自然言語の理解および生成タスクに対して行われた実験では、TriAdaptLoRA が既存の PEFT 手法よりも常に優れたパフォーマンスを発揮することが実証されています。
特に線形のしきい値によるランク増加下で、優れたパフォーマンス、安定性の向上、計算オーバーヘッドの削減を実現します。
これらの結果は、LLM を微調整するためのスケーラブルでリソース効率の高いソリューションとしてのその有効性を強調しています。

要約(オリジナル)

The fine-tuning of Large Language Models (LLMs) is pivotal for achieving optimal performance across diverse downstream tasks. However, while full fine-tuning delivers superior results, it entails significant computational and resource costs. Parameter-Efficient Fine-Tuning (PEFT) methods, such as LoRA, address these challenges by reducing the number of trainable parameters, but they often struggle with rank adjustment efficiency and task-specific adaptability. We propose Triangular Adaptive Low-Rank Adaptation (TriAdaptLoRA), a novel PEFT framework inspired by neuroscience principles, which dynamically optimizes the allocation of trainable parameters. TriAdaptLoRA introduces three key innovations: 1) a triangular split of transformation matrices into lower and upper triangular components to maximize parameter utilization, 2) a parameter importance metric based on normalized Frobenius norms for efficient adaptation, and 3) an adaptive rank-growth strategy governed by dynamic thresholds, allowing flexible parameter allocation across training steps. Experiments conducted on a variety of natural language understanding and generation tasks demonstrate that TriAdaptLoRA consistently outperforms existing PEFT methods. It achieves superior performance, enhanced stability, and reduced computational overhead, particularly under linear threshold-driven rank growth. These results highlight its efficacy as a scalable and resource-efficient solution for fine-tuning LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google