LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation

要約

低ランク適応 (LoRA) は、限られたコンピューティング リソースの下で事前トレーニングされたモデルを微調整するために、各レイヤーに補助パラメーターを導入します。
しかし、より大きなモデルにスケールアップする際には、依然としてリソース消費という課題に直面しています。
以前の研究では、この問題に対処するために、さまざまなレイヤーの LoRA パラメーターの重要性を評価することによって枝刈り技術が採用されています。
ただし、これらの取り組みは、パラメータの特徴を分析してその重要性を評価するだけでした。
実際、パラメーターとデータに関連する LoRA の出力は、フリーズされたモデルに直接影響を与える要素です。
この目的のために、我々は LoRA 出力を分析することによってパラメータの重要性を評価する LoRA-drop を提案します。
重要なレイヤーの LoRA を保持し、他のレイヤーの LoRA は同じパラメーターを共有します。
NLU および NLG タスクに関する豊富な実験により、LoRA-drop の有効性が実証されています。

要約(オリジナル)

Low-Rank Adaptation (LoRA) introduces auxiliary parameters for each layer to fine-tune the pre-trained model under limited computing resources. But it still faces challenges of resource consumption when scaling up to larger models. Previous studies employ pruning techniques by evaluating the importance of LoRA parameters for different layers to address the problem. However, these efforts only analyzed parameter features to evaluate their importance. Indeed, the output of LoRA related to the parameters and data is the factor that directly impacts the frozen model. To this end, we propose LoRA-drop which evaluates the importance of the parameters by analyzing the LoRA output. We retain LoRA for important layers and the LoRA of the other layers share the same parameters. Abundant experiments on NLU and NLG tasks demonstrate the effectiveness of LoRA-drop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google