$\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning

要約

低ランク アダプター (LoRA) とそのバリアントは、少数の追加パラメーターのみを必要としながら、フルモデルの微調整パフォーマンスにほぼ一致する一般的なパラメーター効率の良い微調整 (PEFT) 手法です。
これらの追加の LoRA パラメーターは、適応される基本モデルに固有です。
基本モデルを廃止して新しいモデルに置き換える必要がある場合は、関連するすべての LoRA モジュールを再トレーニングする必要があります。
このような再トレーニングには、元の基本モデルの LoRA をトレーニングするために使用されるデータへのアクセスが必要です。
これは、LoRA モジュールと基本モデルが独自のクライアント タスク データのホストを許可されていないサービス プロバイダーによってホストされている商用クラウド アプリケーションの場合に特に問題になります。
この課題に対処するために、私たちは $\textit{Trans-LoRA}$ を提案します。これは、基本モデル間で LoRA をロスレスでほぼデータなしで転送するための新しい方法です。
私たちのアプローチは、合成データを利用して LoRA モジュールを転送します。
大規模な言語モデルを使用して、$\textit{observed}$ タスク データ サブセットのデータ生成プロセスを近似する合成データ ジェネレーターを設計します。
結果として得られる合成データセットでトレーニングすると、LoRA モジュールが新しいモデルに転送されます。
LLama モデル ファミリと Gemma モデル ファミリの両方を使用してアプローチの有効性を示します。
私たちのアプローチは、さまざまなタスクにおいて、異なるベース モデル ファミリ内および異なるベース モデル ファミリ間のモデル間、さらには異なる PEFT メソッド間でのロスレス (ほとんどが改善された) LoRA 転送を実現します。

要約(オリジナル)

Low-rank adapters (LoRA) and their variants are popular parameter-efficient fine-tuning (PEFT) techniques that closely match full model fine-tune performance while requiring only a small number of additional parameters. These additional LoRA parameters are specific to the base model being adapted. When the base model needs to be deprecated and replaced with a new one, all the associated LoRA modules need to be re-trained. Such re-training requires access to the data used to train the LoRA for the original base model. This is especially problematic for commercial cloud applications where the LoRA modules and the base models are hosted by service providers who may not be allowed to host proprietary client task data. To address this challenge, we propose $\textit{Trans-LoRA}$ — a novel method for lossless, nearly data-free transfer of LoRAs across base models. Our approach relies on synthetic data to transfer LoRA modules. Using large language models, we design a synthetic data generator to approximate the data-generating process of the $\textit{observed}$ task data subset. Training on the resulting synthetic dataset transfers LoRA modules to new models. We show the effectiveness of our approach using both LLama and Gemma model families. Our approach achieves lossless (mostly improved) LoRA transfer between models within and across different base model families, and even between different PEFT methods, on a wide variety of tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google