Assessing Open-world Forgetting in Generative Image Model Customization

要約

拡散モデルの最近の進歩により、画像生成機能が大幅に向上しています。
ただし、これらのモデルを新しいクラスでカスタマイズすると、信頼性を損なう意図しない結果につながることがよくあります。
これらの意図しない変化の膨大な範囲を特徴付けるオープンワールドの概念を紹介します。
私たちの作品は、拡散モデルでのオープンワールドの忘却に関する最初の体系的な調査を提示し、表現の意味と外観のドリフトに焦点を当てています。
ゼロショット分類を使用して、マイナーモデルの適応でさえ、新たに導入された概念をはるかに超えた領域に影響を与える重要なセマンティックドリフトにつながる可能性があり、以前に学習された概念で最大60％の精度が低下することを実証します。
外観ドリフトの分析により、生成されたコンテンツのテクスチャと色の分布の大幅な変化が明らかになりました。
これらの問題に対処するために、新しい概念に対応しながら元の機能を効果的に保持する機能的な正則化戦略を提案します。
複数のデータセットと評価メトリックにわたる広範な実験を通じて、私たちのアプローチがセマンティックと外観の両方のドリフトを大幅に削減することを実証します。
私たちの研究は、モデルのカスタマイズと微調整方法に関する将来の研究で、オープンワールドの忘却を考慮することの重要性を強調しています。

要約(オリジナル)

Recent advances in diffusion models have significantly enhanced image generation capabilities. However, customizing these models with new classes often leads to unintended consequences that compromise their reliability. We introduce the concept of open-world forgetting to characterize the vast scope of these unintended alterations. Our work presents the first systematic investigation into open-world forgetting in diffusion models, focusing on semantic and appearance drift of representations. Using zero-shot classification, we demonstrate that even minor model adaptations can lead to significant semantic drift affecting areas far beyond newly introduced concepts, with accuracy drops of up to 60% on previously learned concepts. Our analysis of appearance drift reveals substantial changes in texture and color distributions of generated content. To address these issues, we propose a functional regularization strategy that effectively preserves original capabilities while accommodating new concepts. Through extensive experiments across multiple datasets and evaluation metrics, we demonstrate that our approach significantly reduces both semantic and appearance drift. Our study highlights the importance of considering open-world forgetting in future research on model customization and finetuning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google