LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation

要約

大規模な基礎モデルの人気が高まるにつれて、Low-Rank Adaptation（LoRA）のような、パラメータ効率の高い微調整手法に対する需要が高まっている。このような基本モデルが非推奨となり置き換えられると、関連するすべてのLoRAモジュールを再学習させる必要があり、元の学習データか、元の分布を反映した相当量の合成データのいずれかにアクセスする必要がある。しかし、元のデータはプライバシーやライセンスの問題でアクセスできないことが多く、合成データを生成することは現実的でなく、十分に代表的でない場合がある。これらの要因は、微調整プロセスをかなり複雑にしている。この課題に対処するため、我々は新しいアダプター、クロスモデル・ローランク・アダプテーション（LoRA-X）を導入する。このアダプターは、ソースモデルとターゲットモデル間でLoRAパラメーターをトレーニングなしで転送することを可能にし、オリジナルのトレーニングデータや合成トレーニングデータを不要にする。LoRA-Xは、LoRAパラメータをソースモデルとターゲットモデル間で訓練なしで転送することを可能にします。この制約が必要なのは、ターゲットモデルに関する事前知識がその重みに限定されるためであり、アダプターの転送可能性を保証する基準はターゲットベースモデルの重みと部分空間に限定されるからである。ソースモデルのLoRAパラメータのターゲットモデルへの転送を容易にするため、ターゲットモデルの、許容可能なレベルの部分空間の類似性を示すレイヤーのみにアダプターを採用する。我々の広範な実験により、Stable Diffusion v1.5とStable Diffusion XLを含む、テキストから画像への生成におけるLoRA-Xの有効性が実証された。

要約(オリジナル)

The rising popularity of large foundation models has led to a heightened demand for parameter-efficient fine-tuning methods, such as Low-Rank Adaptation (LoRA), which offer performance comparable to full model fine-tuning while requiring only a few additional parameters tailored to the specific base model. When such base models are deprecated and replaced, all associated LoRA modules must be retrained, requiring access to either the original training data or a substantial amount of synthetic data that mirrors the original distribution. However, the original data is often inaccessible due to privacy or licensing issues, and generating synthetic data may be impractical and insufficiently representative. These factors complicate the fine-tuning process considerably. To address this challenge, we introduce a new adapter, Cross-Model Low-Rank Adaptation (LoRA-X), which enables the training-free transfer of LoRA parameters across source and target models, eliminating the need for original or synthetic training data. Our approach imposes the adapter to operate within the subspace of the source base model. This constraint is necessary because our prior knowledge of the target model is limited to its weights, and the criteria for ensuring the adapter’s transferability are restricted to the target base model’s weights and subspace. To facilitate the transfer of LoRA parameters of the source model to a target model, we employ the adapter only in the layers of the target model that exhibit an acceptable level of subspace similarity. Our extensive experiments demonstrate the effectiveness of LoRA-X for text-to-image generation, including Stable Diffusion v1.5 and Stable Diffusion XL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL