LoRTA: Low Rank Tensor Adaptation of Large Language Models

要約

低ランク適応（Low Rank Adaptation：LoRA）は、大規模な事前学習済みモデルを下流のタスクに効果的に適応させる、一般的なパラメータ効率的微調整（Parameter Efficient Fine Tuning：PEFT）手法である。LoRAは各層で低ランク行列を使用してモデルの更新をパラメータ化し、学習可能なパラメータ数を大幅に削減する。しかし、低ランク行列モデルを使用するため、学習可能なパラメータ数の下限は高いままである。最近の研究では、モデル更新のために低ランクテンソルのパラメータ化を提案することで、この制限に対処している。しかし、それらは層全体の冗長性を利用するか、追加のハイパーパラメータを導入するアドホックなスキームを用いて個々の行列をテンソル化するだけである。本研究では、高次のCandecomp/Parafac (CP)分解を提案し、既存の行列やテンソルベースのPEFT手法と比較して、よりコンパクトで柔軟な表現を可能にする。自然言語理解、命令チューニング、嗜好最適化、タンパク質折りたたみベンチマークを用いた実験により、本手法が同等の性能を維持しながらパラメータ数の削減を達成できることを実証する。

要約(オリジナル)

Low Rank Adaptation (LoRA) is a popular Parameter Efficient Fine Tuning (PEFT) method that effectively adapts large pre-trained models for downstream tasks. LoRA parameterizes model updates using low-rank matrices at each layer, significantly reducing the number of trainable parameters and, consequently, resource requirements during fine-tuning. However, the lower bound on the number of trainable parameters remains high due to the use of the low-rank matrix model. Recent works have addressed this limitation by proposing low rank tensor parameterizations for model updates. However, they only exploit redundancy across layers, or tensorize individual matrices using ad-hoc schemes that introduce additional hyperparameters. In this work, we propose a higher-order Candecomp/Parafac (CP) decomposition, enabling a more compact and flexible representation compared to existing matrix and tensor based PEFT methods. Our experiments on Natural Language Understanding, Instruction Tuning, Preference Optimization and Protein Folding benchmarks demonstrate that our method can achieve a reduction in the number of parameters while maintaining comparable performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL