Ablating Concepts in Text-to-Image Diffusion Models

要約

大規模なテキストから画像への拡散モデルは、強力な構成能力を備えた忠実度の高い画像を生成できます。
ただし、これらのモデルは通常、膨大な量のインターネット データでトレーニングされており、多くの場合、著作権で保護された素材、ライセンスを受けた画像、個人の写真が含まれています。
さらに、生きているさまざまなアーティストのスタイルを再現したり、正確なトレーニング サンプルを記憶したりすることもわかっています。
モデルをゼロから再トレーニングせずに、著作権で保護された概念やイメージを削除するにはどうすればよいでしょうか?
この目標を達成するために、事前トレーニング済みモデルの概念を除去する効率的な方法、つまりターゲット概念の生成を防止する方法を提案します。
私たちのアルゴリズムは、ターゲット スタイル、インスタンス、またはテキスト プロンプトの画像分布を、アンカー コンセプトに対応する分布に一致させることを学習します。
これにより、モデルがそのテキスト条件に基づいてターゲット コンセプトを生成できなくなります。
広範な実験により、モデル内の密接に関連する概念を維持しながら、私たちの方法が除去された概念の生成をうまく防ぐことができることが示されています。

要約(オリジナル)

Large-scale text-to-image diffusion models can generate high-fidelity images with powerful compositional ability. However, these models are typically trained on an enormous amount of Internet data, often containing copyrighted material, licensed images, and personal photos. Furthermore, they have been found to replicate the style of various living artists or memorize exact training samples. How can we remove such copyrighted concepts or images without retraining the model from scratch? To achieve this goal, we propose an efficient method of ablating concepts in the pretrained model, i.e., preventing the generation of a target concept. Our algorithm learns to match the image distribution for a target style, instance, or text prompt we wish to ablate to the distribution corresponding to an anchor concept. This prevents the model from generating target concepts given its text condition. Extensive experiments show that our method can successfully prevent the generation of the ablated concept while preserving closely related concepts in the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google