OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models

要約

大規模言語モデル (LLM) の出現により、自然言語処理に革命が起こり、人間のようなテキストを理解して生成する前例のない機能が可能になりました。
ただし、これらのモデルの微調整に伴う計算コストと収束時間は依然として大きな課題です。
低ランク適応 (LoRA) は、トレーニング可能なパラメーターの数を減らして効率的な微調整技術を導入することで、これらの問題を軽減する有望な方法として浮上しました。
この論文では、QR 分解による正規直交行列の初期化を活用した LoRA 法の拡張機能である OLoRA を紹介します。
OLoRA は、トレーニング可能なパラメーターの数や GPU メモリ フットプリントなどの LoRA の効率上のメリットを維持しながら、LLM トレーニングの収束を大幅に加速します。
私たちの経験的評価は、OLoRA がより速く収束するだけでなく、さまざまな言語モデリング タスクにわたって標準の LoRA と比較してパフォーマンスが向上していることを示しています。
この進歩により、LLM のより効率的でアクセスしやすい微調整のための新たな道が開かれ、自然言語アプリケーションでのより広範な採用と革新が可能になる可能性があります。

要約(オリジナル)

The advent of large language models (LLMs) has revolutionized natural language processing, enabling unprecedented capabilities in understanding and generating human-like text. However, the computational cost and convergence times associated with fine-tuning these models remain significant challenges. Low-Rank Adaptation (LoRA) has emerged as a promising method to mitigate these issues by introducing efficient fine-tuning techniques with a reduced number of trainable parameters. In this paper, we present OLoRA, an enhancement to the LoRA method that leverages orthonormal matrix initialization through QR decomposition. OLoRA significantly accelerates the convergence of LLM training while preserving the efficiency benefits of LoRA, such as the number of trainable parameters and GPU memory footprint. Our empirical evaluations demonstrate that OLoRA not only converges faster but also exhibits improved performance compared to standard LoRA across a variety of language modeling tasks. This advancement opens new avenues for more efficient and accessible fine-tuning of LLMs, potentially enabling broader adoption and innovation in natural language applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google