A Survey on LoRA of Large Language Models

要約

Low-Rank Adaptation~(LoRA) は、プラグ可能な低ランク行列で高密度ニューラル ネットワーク層を更新するもので、パラメーター効率の最も優れた微調整パラダイムの 1 つです。
さらに、タスク間の汎用化とプライバシーの保護において大きな利点があります。
したがって、LoRA は最近大きな注目を集めており、関連文献の数は指数関数的に増加しています。
LoRA の現在の進捗状況を包括的に概観する必要があります。
この調査は、(1) 下流タスクにおける LoRA のパフォーマンスを向上させる下流適応改善バリアントの観点から進捗状況を分類およびレビューします。
(2) 複数の LoRA プラグインを混合してクロスタスクの汎化を実現するクロスタスクの汎化手法。
(3) LoRA の計算効率を高める効率化手法。
(4) フェデレーテッド ラーニングで LoRA を使用するデータ プライバシー保護手法。
(5) アプリケーション。
さらに、この調査では、この分野の将来の方向性についても議論しています。
最後に、Github ページ~\footnote{\href{https://github.com/ZJU-LLMs/Awesome-LoRAs.git}{https://github.com/ZJU-LLMs/Awesome-LoRAs) を提供します。
git}} を参照すると、読者は更新情報を確認し、この調査ペーパーに関するディスカッションを開始できます。

要約(オリジナル)

Low-Rank Adaptation~(LoRA), which updates the dense neural network layers with pluggable low-rank matrices, is one of the best performed parameter efficient fine-tuning paradigms. Furthermore, it has significant advantages in cross-task generalization and privacy-preserving. Hence, LoRA has gained much attention recently, and the number of related literature demonstrates exponential growth. It is necessary to conduct a comprehensive overview of the current progress on LoRA. This survey categorizes and reviews the progress from the perspectives of (1) downstream adaptation improving variants that improve LoRA’s performance on downstream tasks; (2) cross-task generalization methods that mix multiple LoRA plugins to achieve cross-task generalization; (3) efficiency-improving methods that boost the computation-efficiency of LoRA; (4) data privacy-preserving methods that use LoRA in federated learning; (5) application. Besides, this survey also discusses the future directions in this field. At last, we provide a Github page~\footnote{\href{https://github.com/ZJU-LLMs/Awesome-LoRAs.git}{https://github.com/ZJU-LLMs/Awesome-LoRAs.git}} for readers to check the updates and initiate discussions on this survey paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google