SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation

要約

近年、拡散モデルの開発により、画像とビデオの生成タスクが大幅に進歩し、Stable Diffusion シリーズのような事前トレーニングされたモデルが重要な役割を果たしています。
重要でないパラメータを削除して大規模な事前トレーニング済みモデルを軽量化するモデル枝刈りにヒントを得て、これらの非効率なパラメータを最大限に活用し、事前トレーニング済みモデルに新しいタスク指定機能を有効にする新しいモデル微調整方法を提案します。
この研究では、まず事前にトレーニングされた拡散モデルのパラメーターの重要性を調査し、絶対値によるパラメーターの最小の 10% ～ 20% が生成プロセスに寄与していないことを発見しました。
この観察に基づいて、タスク固有の知識を学習するためにスパース重み行列を最適化することに等しい、これらの一時的に無効なパラメータを再利用する SaRA と呼ばれる方法を提案します。
過剰適合を軽減するために、効率的な微調整のための核標準に基づく低ランクのスパース訓練スキームを提案します。
さらに、再トレーニング/微調整されたパラメータを最大限に活用するために、新しい漸進的なパラメータ調整戦略を設計します。
最後に、微調整中のメモリ コストを大幅に削減する、新しい非構造逆伝播戦略を提案します。
私たちの手法は、下流アプリケーションにおける事前トレーニング済みモデルの生成能力を強化し、モデルの一般化能力を維持する点で LoRA のような従来の微調整手法を上回ります。
SD モデルの微調整実験を通じてアプローチを検証し、大幅な改善を実証します。
また、SaRA には、効率的な実装のためにコードを 1 行変更するだけで済み、既存の方法とシームレスに互換性があるという実用的な利点もあります。

要約(オリジナル)

In recent years, the development of diffusion models has led to significant progress in image and video generation tasks, with pre-trained models like the Stable Diffusion series playing a crucial role. Inspired by model pruning which lightens large pre-trained models by removing unimportant parameters, we propose a novel model fine-tuning method to make full use of these ineffective parameters and enable the pre-trained model with new task-specified capabilities. In this work, we first investigate the importance of parameters in pre-trained diffusion models, and discover that the smallest 10% to 20% of parameters by absolute values do not contribute to the generation process. Based on this observation, we propose a method termed SaRA that re-utilizes these temporarily ineffective parameters, equating to optimizing a sparse weight matrix to learn the task-specific knowledge. To mitigate overfitting, we propose a nuclear-norm-based low-rank sparse training scheme for efficient fine-tuning. Furthermore, we design a new progressive parameter adjustment strategy to make full use of the re-trained/finetuned parameters. Finally, we propose a novel unstructural backpropagation strategy, which significantly reduces memory costs during fine-tuning. Our method enhances the generative capabilities of pre-trained models in downstream applications and outperforms traditional fine-tuning methods like LoRA in maintaining model’s generalization ability. We validate our approach through fine-tuning experiments on SD models, demonstrating significant improvements. SaRA also offers a practical advantage that requires only a single line of code modification for efficient implementation and is seamlessly compatible with existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google