RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation

要約

私たちは、大規模言語モデル (LLM) のコンテキストで、限られた計算量とメモリ予算の下で良好な精度を提供できるパラメーター効率の良い微調整 (PEFT) 手法を調査します。
我々は、一連の固定事前学習済み重みに基づいて $\textit{low-rank}$ コンポーネントと $\textit{highly-sparse}$ コンポーネントを共同学習するロバストな主成分分析にヒントを得た、ロバスト アダプテーション (RoSA) と呼ばれる新しい PEFT 手法を提案します。
フルファインチューニング (FFT) ソリューションのパフォーマンスを効率的に近似します。
小学校の算数や SQL クエリの生成など、優れたパフォーマンスを得るには微調整が必​​要な一連の困難な生成タスク全体で、RoSA が同じパラメーター バジェットで LoRA、純粋なスパース微調整、および代替ハイブリッド手法よりも優れていることを示します。
一部のタスクでは FFT のパフォーマンスを回復することもできます。
私たちは、特にメモリ効率と計算効率の高いトレーニングを可能にするスパース GPU カーネルの形式で、トレーニング アルゴリズムを補完する RoSA のシステム サポートを提供し、低精度の基本重みと互換性があることを示し、結果として最初の結合表現が得られます。
量子化、低ランク近似、およびスパース近似を組み合わせます。
私たちのコードは https://github.com/IST-DASLab/RoSA からアクセスできます。

要約(オリジナル)

We investigate parameter-efficient fine-tuning (PEFT) methods that can provide good accuracy under limited computational and memory budgets in the context of large language models (LLMs). We present a new PEFT method called Robust Adaptation (RoSA) inspired by robust principal component analysis that jointly trains $\textit{low-rank}$ and $\textit{highly-sparse}$ components on top of a set of fixed pretrained weights to efficiently approximate the performance of a full-fine-tuning (FFT) solution. Across a series of challenging generative tasks such as grade-school math and SQL query generation, which require fine-tuning for good performance, we show that RoSA outperforms LoRA, pure sparse fine-tuning, and alternative hybrid methods at the same parameter budget, and can even recover the performance of FFT on some tasks. We provide system support for RoSA to complement the training algorithm, specifically in the form of sparse GPU kernels which enable memory- and computationally-efficient training, and show that it is also compatible with low-precision base weights, resulting in the first joint representation combining quantization, low-rank and sparse approximations. Our code is accessible at https://github.com/IST-DASLab/RoSA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google