Anti-DreamBooth: Protecting users from personalized text-to-image synthesis

要約

テキストから画像への拡散モデルは単なる革命であり、デザインのスキルがなくても、単純なテキスト入力からリアルな画像を作成できます。
DreamBooth のような強力なパーソナライゼーション ツールを使用すると、特定の人物のいくつかの参照画像から学習するだけで、特定の人物の画像を生成できます。
しかし、このような強力で便利なツールを悪用すると、個々の被害者を対象としたフェイク ニュースや不穏なコンテンツが生成され、社会に深刻な悪影響を与える可能性があります。
このホワイト ペーパーでは、このような DreamBooth の悪用に対する Anti-DreamBooth と呼ばれる防御システムについて説明します。
システムは、これらの乱れた画像でトレーニングされた DreamBooth モデルの生成品質を混乱させるために、公開前に各ユーザーの画像に微妙なノイズ摂動を追加することを目的としています。
摂動最適化のための幅広いアルゴリズムを調査し、さまざまなテキストから画像へのモデル バージョンで 2 つの顔データセットでそれらを広範囲に評価します。
DreamBooth および Diffusion ベースのテキストから画像へのモデルの複雑な定式化にもかかわらず、私たちの方法は、これらのモデルの悪用からユーザーを効果的に保護します。
それらの有効性は、トレーニングとテストの間のモデルまたはプロンプト/用語の不一致などの悪条件にも耐えます。
コードは \href{https://github.com/VinAIResearch/Anti-DreamBooth.git}{https://github.com/VinAIResearch/Anti-DreamBooth.git} で入手できます。

要約(オリジナル)

Text-to-image diffusion models are nothing but a revolution, allowing anyone, even without design skills, to create realistic images from simple text inputs. With powerful personalization tools like DreamBooth, they can generate images of a specific person just by learning from his/her few reference images. However, when misused, such a powerful and convenient tool can produce fake news or disturbing content targeting any individual victim, posing a severe negative social impact. In this paper, we explore a defense system called Anti-DreamBooth against such malicious use of DreamBooth. The system aims to add subtle noise perturbation to each user’s image before publishing in order to disrupt the generation quality of any DreamBooth model trained on these perturbed images. We investigate a wide range of algorithms for perturbation optimization and extensively evaluate them on two facial datasets over various text-to-image model versions. Despite the complicated formulation of DreamBooth and Diffusion-based text-to-image models, our methods effectively defend users from the malicious use of those models. Their effectiveness withstands even adverse conditions, such as model or prompt/term mismatching between training and testing. Our code will be available at \href{https://github.com/VinAIResearch/Anti-DreamBooth.git}{https://github.com/VinAIResearch/Anti-DreamBooth.git}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google