Continual Diffusion: Continual Customization of Text-to-Image Diffusion with C-LoRA

要約

タイトル：Continual Diffusion：C-LoRAによるテキストから画像へのカスタマイズ

要約：
– 従来の研究では、わずかな例示画像だけを与えることで、驚くべき能力を持つテキストから画像へのカスタマイズを実証してきた。
– しかし、新しい概念が連続的に現れる場合に、このようなモデルをカスタマイズするとどうなるのか？
– この研究では、過去の類似概念の高品質の画像を生成する能力が低下してしまうことが判明した。
– この問題を解決するために、C-LoRAという新しい手法を提案する。
– この手法は、ステーブルディフュージョンモデルのクロスアテンションレイヤーで継続的に自己正則化された低ランク適応から構成される。
– また、カスタマイズのプロンプトには、カスタマイズ対象の単語（例：人間の顔のデータセットの場合は「人」）を含まず、完全にランダムな埋め込みで初期化する。
– この手法は、使用者データの再生のためのストレージも必要なく、わずかな追加のパラメーター費用しかかからない。
– C-LoRAは、テキストから画像への継続的なカスタマイズの提案された設定に対して、いくつかのベースラインを凌駕するだけでなく、リハーサルフリーな連続学習の画像分類で新たな最高性能を達成していることが示された。
– この研究で得られた成果は、多くのアプリケーションにとって有望なソリューションであり、実用的な影響力があると信じられている。

要約(オリジナル)

Recent works demonstrate a remarkable ability to customize text-to-image diffusion models while only providing a few example images. What happens if you try to customize such models using multiple, fine-grained concepts in a sequential (i.e., continual) manner? In our work, we show that recent state-of-the-art customization of text-to-image models suffer from catastrophic forgetting when new concepts arrive sequentially. Specifically, when adding a new concept, the ability to generate high quality images of past, similar concepts degrade. To circumvent this forgetting, we propose a new method, C-LoRA, composed of a continually self-regularized low-rank adaptation in cross attention layers of the popular Stable Diffusion model. Furthermore, we use customization prompts which do not include the word of the customized object (i.e., ‘person’ for a human face dataset) and are initialized as completely random embeddings. Importantly, our method induces only marginal additional parameter costs and requires no storage of user data for replay. We show that C-LoRA not only outperforms several baselines for our proposed setting of text-to-image continual customization, which we refer to as Continual Diffusion, but that we achieve a new state-of-the-art in the well-established rehearsal-free continual learning setting for image classification. The high achieving performance of C-LoRA in two separate domains positions it as a compelling solution for a wide range of applications, and we believe it has significant potential for practical impact.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI