A Grey-box Attack against Latent Diffusion Model-based Image Editing by Posterior Collapse

要約

生成 AI、特に潜在拡散モデル (LDM) の最近の進歩は、画像の合成と操作に革命をもたらしました。
ただし、これらの生成技術は、データの流用や知的財産の侵害に関する懸念を引き起こします。
機械学習モデルに対する敵対的攻撃は広範囲に研究されており、確立された一連の研究により、生成 AI の根本的な悪用を防ぐための無害な指標としてこれらの技術が拡張されています。
LDM による画像操作から画像を保護するための現在のアプローチは、モデル固有の知識に依存していることと、生成された画像の意味論的な品質を大幅に低下させることができないことによって制限されています。
これらの欠点に対応して、VAE がトレーニング中に後部崩壊に悩まされるという観察に基づいて、後部崩壊攻撃 (PCA) を提案します。
私たちの方法は、ターゲットモデルのホワイトボックス情報への依存を最小限に抑え、モデル固有の知識への暗黙的な依存を排除​​します。
ほんの少量の LDM パラメータ、具体的には LDM の VAE エンコーダにアクセスするだけで、私たちの方法は、生成品質、特に知覚的一貫性の実質的な意味論的崩壊を引き起こし、さまざまなモデル アーキテクチャ間での強力な移行可能性を実証します。
実験結果は、PCA が、より短いランタイムと VRAM で LDM の画像生成に対して優れた摂動効果を達成することを示しています。
私たちの手法は既存の手法を上回っており、急速に進化する生成 AI の状況によってもたらされる社会技術的課題の軽減に役立つ、より堅牢で一般化可能なソリューションを提供します。

要約(オリジナル)

Recent advancements in generative AI, particularly Latent Diffusion Models (LDMs), have revolutionized image synthesis and manipulation. However, these generative techniques raises concerns about data misappropriation and intellectual property infringement. Adversarial attacks on machine learning models have been extensively studied, and a well-established body of research has extended these techniques as a benign metric to prevent the underlying misuse of generative AI. Current approaches to safeguarding images from manipulation by LDMs are limited by their reliance on model-specific knowledge and their inability to significantly degrade semantic quality of generated images. In response to these shortcomings, we propose the Posterior Collapse Attack (PCA) based on the observation that VAEs suffer from posterior collapse during training. Our method minimizes dependence on the white-box information of target models to get rid of the implicit reliance on model-specific knowledge. By accessing merely a small amount of LDM parameters, in specific merely the VAE encoder of LDMs, our method causes a substantial semantic collapse in generation quality, particularly in perceptual consistency, and demonstrates strong transferability across various model architectures. Experimental results show that PCA achieves superior perturbation effects on image generation of LDMs with lower runtime and VRAM. Our method outperforms existing techniques, offering a more robust and generalizable solution that is helpful in alleviating the socio-technical challenges posed by the rapidly evolving landscape of generative AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google