Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models

要約

ディープ ラーニング モデルの未学習の問題は、かつては主に学術的な懸念事項でしたが、業界で蔓延する問題になりました。
テキストから画像への生成技術の大幅な進歩により、プライバシー、著作権、および安全性に関する世界的な議論が促進されました。多数の無許可の個人 ID、コンテンツ、芸術作品、および潜在的に有害な素材がこれらのモデルによって学習され、後で生成および生成に利用されるようになったためです。
制御されていないコンテンツを配布します。
この課題に対処するために、\textbf{Forget-Me-Not} を提案します。これは、適切に構成されたテキストから画像へのモデルから、指定された ID、オブジェクト、またはスタイルを安全に削除するように設計された効率的で低コストのソリューションです。
30 秒、他のコンテンツを生成する能力を損なうことはありません。
私たちの方法に加えて、\textbf{Memorization Score (M-Score)} と \textbf{ConceptBench} を導入して、ID、オブジェクト、スタイルの 3 つの主要なカテゴリにグループ化された、一般的な概念を生成するモデルの能力を測定します。
M-Score と ConceptBench を使用して、他の概念に対するモデルのパフォーマンスを維持しながら、Forget-Me-Not が対象となる概念を効果的に排除できることを示します。
さらに、Forget-Me-Not は 2 つの実用的な拡張機能を提供します: a) 潜在的に有害または NSFW コンテンツの削除、および b) \textbf{概念の修正と分離} によるモデルの精度、包括性、および多様性の強化。
また、Stable Diffusion の軽量モデル パッチとして適用することもできるため、コンセプトの操作と配布が容易になります。
この重要な分野での将来の研究を奨励し、安全で包括的な生成モデルの開発を促進するために、コードと ConceptBench を \href{https://github.com/SHI-Labs/Forget-Me-Not} でオープンソース化します。
{https://github.com/SHI-Labs/Forget-Me-Not}。

要約(オリジナル)

The unlearning problem of deep learning models, once primarily an academic concern, has become a prevalent issue in the industry. The significant advances in text-to-image generation techniques have prompted global discussions on privacy, copyright, and safety, as numerous unauthorized personal IDs, content, artistic creations, and potentially harmful materials have been learned by these models and later utilized to generate and distribute uncontrolled content. To address this challenge, we propose \textbf{Forget-Me-Not}, an efficient and low-cost solution designed to safely remove specified IDs, objects, or styles from a well-configured text-to-image model in as little as 30 seconds, without impairing its ability to generate other content. Alongside our method, we introduce the \textbf{Memorization Score (M-Score)} and \textbf{ConceptBench} to measure the models’ capacity to generate general concepts, grouped into three primary categories: ID, object, and style. Using M-Score and ConceptBench, we demonstrate that Forget-Me-Not can effectively eliminate targeted concepts while maintaining the model’s performance on other concepts. Furthermore, Forget-Me-Not offers two practical extensions: a) removal of potentially harmful or NSFW content, and b) enhancement of model accuracy, inclusion and diversity through \textbf{concept correction and disentanglement}. It can also be adapted as a lightweight model patch for Stable Diffusion, allowing for concept manipulation and convenient distribution. To encourage future research in this critical area and promote the development of safe and inclusive generative models, we will open-source our code and ConceptBench at \href{https://github.com/SHI-Labs/Forget-Me-Not}{https://github.com/SHI-Labs/Forget-Me-Not}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google