LoLDU: Low-Rank Adaptation via Lower-Diag-Upper Decomposition for Parameter-Efficient Fine-Tuning

要約

モデルの規模が急速に拡大したため、微調整のために大量の計算リソースが必要になりました。
低ランク適応（LoRA）などの既存のアプローチは、完全な微調整で大規模に更新されたパラメータを処理するという問題に対処しようとしました。
ただし、LoRA は、更新された重みを近似するために低ランク行列のランダムな初期化と最適化を利用するため、完全な微調整と比較して最適ではない収束と精度のギャップが生じる可能性があります。
これらの問題に対処するために、私たちは、同等のパフォーマンスを維持しながら、通常の PEFT 手法と比較してトレーニング可能なパラメーターを 2600 分の 1 に大幅に削減する、パラメーター効率の高い微調整 (PEFT) アプローチである LoLDU を提案します。
LoLDU は、Lower-Diag-Upper Decomposition (LDU) を利用して低ランク行列を初期化し、より高速な収束と直交性を実現します。
スケーリング変換の対角行列の最適化に焦点を当てます。
私たちの知る限りでは、LoLDU はすべての PEFT アプローチの中でパラメータが最も少ないです。
私たちは、4 つの命令追従データセット、6 つの自然言語理解 (NLU) データセット、8 つの画像分類データセット、および複数のモデル タイプ (LLaMA2、RoBERTa、ViT、安定拡散) を備えた画像生成データセットにわたって広範な実験を実施し、包括的かつ詳細なデータセットを提供しました。
分析。
私たちのオープンソース コードには、\href{https://github.com/SKDDJ/LoLDU}{https://github.com/SKDDJ/LoLDU} からアクセスできます。

要約(オリジナル)

The rapid growth of model scale has necessitated substantial computational resources for fine-tuning. Existing approach such as Low-Rank Adaptation (LoRA) has sought to address the problem of handling the large updated parameters in full fine-tuning. However, LoRA utilize random initialization and optimization of low-rank matrices to approximate updated weights, which can result in suboptimal convergence and an accuracy gap compared to full fine-tuning. To address these issues, we propose LoLDU, a Parameter-Efficient Fine-Tuning (PEFT) approach that significantly reduces trainable parameters by 2600 times compared to regular PEFT methods while maintaining comparable performance. LoLDU leverages Lower-Diag-Upper Decomposition (LDU) to initialize low-rank matrices for faster convergence and orthogonality. We focus on optimizing the diagonal matrix for scaling transformations. To the best of our knowledge, LoLDU has the fewest parameters among all PEFT approaches. We conducted extensive experiments across 4 instruction-following datasets, 6 natural language understanding (NLU) datasets, 8 image classification datasets, and image generation datasets with multiple model types (LLaMA2, RoBERTa, ViT, and Stable Diffusion), providing a comprehensive and detailed analysis. Our open-source code can be accessed at \href{https://github.com/SKDDJ/LoLDU}{https://github.com/SKDDJ/LoLDU}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google