SARA: Singular-Value Based Adaptive Low-Rank Adaption

要約

大規模な事前トレーニング済みモデルのパラメーター数が増加するにつれて、推論オーバーヘッドを追加しないために、パラメーター効率の良い微調整 (PEFT) 手法としての LoRA が広く使用されています。
LoRA メソッドは、微調整中の重みの変化が低ランクの行列で近似できることを前提としています。
ただし、ランク値はさまざまなダウンストリーム タスクに一致するように手動で検証する必要があり、モデル内のさまざまなレイヤーの重要性の変化に対応できません。
この作業では、まず SVD を使用して、さまざまなレイヤーのパフォーマンスとそのランクの間の関係を分析します。
これに基づいて、事前にトレーニングされた重みに対して SVD を実行することにより、初期化中に適応的にランクを見つける特異値ベースの適応低ランク適応 (SARA) を設計します。
さらに、ルーターによって制御される特異値の複数の並列セットのみを微調整することでパラメーターの数を大幅に削減する、Mixture-of-SARA (Mo-SARA) を検討します。
さまざまな複雑なタスクに関する広範な実験により、私たちの方法の単純さとパラメータ効率が実証されました。
各モデルの各層に最適なランクを効果的かつ適応的に見つけることができます。

要約(オリジナル)

With the increasing number of parameters in large pre-trained models, LoRA as a parameter-efficient fine-tuning(PEFT) method is widely used for not adding inference overhead. The LoRA method assumes that weight changes during fine-tuning can be approximated by low-rank matrices. However, the rank values need to be manually verified to match different downstream tasks, and they cannot accommodate the varying importance of different layers in the model. In this work, we first analyze the relationship between the performance of different layers and their ranks using SVD. Based on this, we design the Singular-Value Based Adaptive Low-Rank Adaption(SARA), which adaptively finds the rank during initialization by performing SVD on the pre-trained weights. Additionally, we explore the Mixture-of-SARA(Mo-SARA), which significantly reduces the number of parameters by fine-tuning only multiple parallel sets of singular values controlled by a router. Extensive experiments on various complex tasks demonstrate the simplicity and parameter efficiency of our methods. They can effectively and adaptively find the most suitable rank for each layer of each model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google