Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models

要約

大規模な事前トレーニング済み生成モデルをパラメータ効率の高い方法で適応させることが注目を集めています。
低ランク適応などの従来の方法は、制約を課すことでパラメータ効率を実現しますが、高い表現能力を必要とするタスクには最適ではない可能性があります。
生成モデルのための新しいスペクトル認識適応フレームワークを提案します。
私たちの方法は、特異値と事前訓練された重みの基底ベクトルの両方を調整します。
クロネッカー積と効率的な Stiefel オプティマイザーを使用して、直交行列のパラメーター効率的な適応を実現します。
計算効率と表現能力のバランスをとるスペクトル直交分解適応 (SODA) を導入します。
テキストから画像への拡散モデルに関する広範な評価により、SODA の有効性が実証され、既存の微調整手法に代わるスペクトルを意識した代替手段が提供されます。

要約(オリジナル)

Adapting large-scale pre-trained generative models in a parameter-efficient manner is gaining traction. Traditional methods like low rank adaptation achieve parameter efficiency by imposing constraints but may not be optimal for tasks requiring high representation capacity. We propose a novel spectrum-aware adaptation framework for generative models. Our method adjusts both singular values and their basis vectors of pretrained weights. Using the Kronecker product and efficient Stiefel optimizers, we achieve parameter-efficient adaptation of orthogonal matrices. We introduce Spectral Orthogonal Decomposition Adaptation (SODA), which balances computational efficiency and representation capacity. Extensive evaluations on text-to-image diffusion models demonstrate SODA’s effectiveness, offering a spectrum-aware alternative to existing fine-tuning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google