HRP: High-Rank Preheating for Superior LoRA Initialization

要約

このホワイトペーパーでは、低ランク適応（LORA）の収束特性に対する初期化の重要な影響について説明します。
我々は、広く使用されているスキーマであるランダムな初期化が、最高の低ランク結果ではなく、LORAがランダムな低ランクの結果に導く可能性が高いことを理論的に示しています。
この問題は、初期化を十分な情報に基づいた方向に調整することで軽減できますが、ターゲットの事前知識に依存しています。これは通常、実際のシナリオでは不明です。
この十分な情報に基づいた初期方向を近似するために、ハイランク予熱（HRP）を提案します。これは、いくつかのステップでハイランクLORAを微調整し、予熱した結果の特異値分解を優れた初期化として使用します。
HRPの初期化は、高位LORAの収束強度と低ランクLORAの一般化強度を組み合わせるために、理論がサポートしています。
広範な実験は、HRPがさまざまなモデルやタスクにわたってLORAの有効性を大幅に向上させ、フルパラメーターの微調整に匹敵するパフォーマンスを達成し、他の初期化戦略を上回ることを実証しています。

要約(オリジナル)

This paper studies the crucial impact of initialization on the convergence properties of Low-Rank Adaptation (LoRA). We theoretically demonstrate that random initialization, a widely used schema, will likely lead LoRA to random low-rank results, rather than the best low-rank result. While this issue can be mitigated by adjusting initialization towards a well-informed direction, it relies on prior knowledge of the target, which is typically unknown in real-world scenarios. To approximate this well-informed initial direction, we propose High-Rank Preheating (HRP), which fine-tunes high-rank LoRA for a few steps and uses the singular value decomposition of the preheated result as a superior initialization. HRP initialization is theory-supported to combine the convergence strengths of high-rank LoRA and the generalization strengths of low-rank LoRA. Extensive experiments demonstrate that HRP significantly enhances LoRA’s effectiveness across various models and tasks, achieving performance comparable to full-parameter fine-tuning and outperforming other initialization strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google