Continual Diffusion: Continual Customization of Text-to-Image Diffusion with C-LoRA

要約

最近の研究では、いくつかの画像例を提供するだけで、テキストから画像への拡散モデルをカスタマイズする驚くべき能力を実証しています。
このようなモデルを、複数のきめの細かい概念を順次 (つまり、継続的に) 使用してカスタマイズしようとするとどうなるでしょうか?
私たちの研究では、テキストから画像へのモデルの最近の最先端のカスタマイズが、新しいコンセプトが次々に登場すると壊滅的な忘却に見舞われることを示しました。
具体的には、新しいコンセプトを追加すると、過去の同様のコンセプトの高品質な画像を生成する能力が低下します。
この忘却を回避するために、私たちは、人気のある安定拡散モデルのクロスアテンション層における継続的に自己正則化された低ランク適応で構成される新しい方法 C-LoRA を提案します。
さらに、カスタマイズされたオブジェクトの単語 (つまり、人間の顔データセットの「person」) を含まず、完全にランダムな埋め込みとして初期化されるカスタマイズ プロンプトを使用します。
重要なのは、私たちの方法では追加パラメータコストがわずかしか発生せず、再生用のユーザーデータのストレージが必要ないことです。
私たちは、C-LoRA が、私たちが提案するテキストから画像への継続的カスタマイズ (継続的拡散と呼ぶ) 設定のいくつかのベースラインを上回っているだけでなく、十分に確立されたシステムで新しい最先端を達成していることを示します。
画像分類のためのリハーサル不要の継続学習設定。
C-LoRA は 2 つの異なるドメインで高いパフォーマンスを実現しているため、幅広いアプリケーションに対する魅力的なソリューションとしての地位を確立しており、実用的な影響を与える大きな可能性があると私たちは考えています。
プロジェクトページ: https://jamessealesmith.github.io/continual-diffusion/

要約(オリジナル)

Recent works demonstrate a remarkable ability to customize text-to-image diffusion models while only providing a few example images. What happens if you try to customize such models using multiple, fine-grained concepts in a sequential (i.e., continual) manner? In our work, we show that recent state-of-the-art customization of text-to-image models suffer from catastrophic forgetting when new concepts arrive sequentially. Specifically, when adding a new concept, the ability to generate high quality images of past, similar concepts degrade. To circumvent this forgetting, we propose a new method, C-LoRA, composed of a continually self-regularized low-rank adaptation in cross attention layers of the popular Stable Diffusion model. Furthermore, we use customization prompts which do not include the word of the customized object (i.e., ‘person’ for a human face dataset) and are initialized as completely random embeddings. Importantly, our method induces only marginal additional parameter costs and requires no storage of user data for replay. We show that C-LoRA not only outperforms several baselines for our proposed setting of text-to-image continual customization, which we refer to as Continual Diffusion, but that we achieve a new state-of-the-art in the well-established rehearsal-free continual learning setting for image classification. The high achieving performance of C-LoRA in two separate domains positions it as a compelling solution for a wide range of applications, and we believe it has significant potential for practical impact. Project page: https://jamessealesmith.github.io/continual-diffusion/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google