LoRTA: Low Rank Tensor Adaptation of Large Language Models

要約

低ランク適応 (LoRA) は、下流のタスクに大規模な事前トレーニング済みモデルを効果的に適応させる、一般的なパラメーター効率微調整 (PEFT) 手法です。
LoRA は、各層で低ランクの行列を使用してモデルの更新をパラメータ化し、トレーニング可能なパラメータの数を大幅に削減し、その結果、微調整中のリソース要件を削減します。
ただし、低ランクの行列モデルを使用しているため、トレーニング可能なパラメーターの数の下限は依然として高いままです。
この論文では、モデルの更新に低ランクのテンソルパラメータ化を採用する新しいアプローチを提案することで、この制限に対処します。
提案された低ランク テンソル モデルは、トレーニング可能なパラメーターの数を大幅に削減できると同時に、アダプター サイズのよりきめ細かい制御も可能にします。
自然言語理解、命令チューニング、プリファレンスの最適化、およびタンパク質フォールディングのベンチマークに関する実験では、私たちの手法が大規模な言語モデルの微調整に効率的かつ効果的であり、同等のパフォーマンスを維持しながらパラメータ数の大幅な削減を達成できることが実証されました。

要約(オリジナル)

Low Rank Adaptation (LoRA) is a popular Parameter Efficient Fine Tuning (PEFT) method that effectively adapts large pre-trained models for downstream tasks. LoRA parameterizes model updates using low-rank matrices at each layer, significantly reducing the number of trainable parameters and, consequently, resource requirements during fine-tuning. However, the lower bound on the number of trainable parameters remains high due to the use of the low-rank matrix model. In this paper, we address this limitation by proposing a novel approach that employs a low rank tensor parametrization for model updates. The proposed low rank tensor model can significantly reduce the number of trainable parameters, while also allowing for finer-grained control over adapter size. Our experiments on Natural Language Understanding, Instruction Tuning, Preference Optimization and Protein Folding benchmarks demonstrate that our method is both efficient and effective for fine-tuning large language models, achieving a substantial reduction in the number of parameters while maintaining comparable performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google