MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

要約

低ランク適応は、大規模な言語モデル向けの一般的なパラメーター効率の高い微調整方法です。
このペーパーでは、LoRA で実装された低ランク更新の影響を分析します。
私たちの調査結果は、低ランクの更新メカニズムが、LLM が新しい知識を効果的に学習し記憶する能力を制限する可能性があることを示唆しています。
この観察に触発されて、私たちは MoRA と呼ばれる新しい方法を提案します。これは、正方行列を使用して、同じ数の訓練可能なパラメーターを維持しながら高ランクの更新を実現します。
これを達成するために、対応する非パラメータ演算子を導入して、正方行列の入力次元を減らし、出力次元を増やします。
さらに、これらの演算子により、重みを LLM にマージして戻すことができるため、私たちのメソッドを LoRA のように展開できるようになります。
私たちは、命令調整、数学的推論、継続的事前トレーニング、記憶、事前トレーニングという 5 つのタスクにわたってメソッドの包括的な評価を実行します。
私たちの方法は、メモリを大量に使用するタスクでは LoRA よりも優れたパフォーマンスを発揮し、他のタスクでも同等のパフォーマンスを達成します。

要約(オリジナル)

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google