EmoAttack: Emotion-to-Image Diffusion Models for Emotional Backdoor Generation

要約

テキストからイメージまでの拡散モデルは、テキスト入力に基づいて現実的な画像を生成し、ユーザーが言語を通じて視覚的に意見を伝えることができます。
一方、言語の中で、感情は私たちの日常生活で個人的な意見を表現する上で重要な役割を果たし、悪意のあるネガティブなコンテンツを含めることで、ユーザーが迷って否定的な感情を悪化させることができます。
拡散モデルの成功と感情の重要性を認識すると、テキストからイメージへの拡散モデルに関連する以前に見落とされがちなリスク、つまり入力テキストに感情を利用してネガティブなコンテンツを導入し、ユーザーに不利な感情を引き起こすことを調査します。
具体的には、新しいバックドア攻撃、すなわち、感情に気付くバックドア攻撃（emoattack）を特定します。これは、画像生成中に感情的なテキストによってトリガーされる悪意のあるネガティブコンテンツを導入します。
広範なモデル再訓練を回避し、エモブースを提案するために、拡散パーソナライズの問題としてこのような攻撃を策定します。
既存のパーソナライズ方法とは異なり、私たちのアプローチは、感情的な単語のクラスターと悪意のあるネガティブコンテンツを含む特定の参照画像の間のマッピングを確立することにより、事前に訓練された拡散モデルを微調整します。
メソッドの有効性を検証するために、データセットを構築し、その有効性に関する広範な分析と議論を実施しました。
消費者の拡散モデルの広範な使用を考えると、この脅威を明らかにすることは社会にとって重要です。

要約(オリジナル)

Text-to-image diffusion models can generate realistic images based on textual inputs, enabling users to convey their opinions visually through language. Meanwhile, within language, emotion plays a crucial role in expressing personal opinions in our daily lives and the inclusion of maliciously negative content can lead users astray, exacerbating negative emotions. Recognizing the success of diffusion models and the significance of emotion, we investigate a previously overlooked risk associated with text-to-image diffusion models, that is, utilizing emotion in the input texts to introduce negative content and provoke unfavorable emotions in users. Specifically, we identify a new backdoor attack, i.e., emotion-aware backdoor attack (EmoAttack), which introduces malicious negative content triggered by emotional texts during image generation. We formulate such an attack as a diffusion personalization problem to avoid extensive model retraining and propose the EmoBooth. Unlike existing personalization methods, our approach fine-tunes a pre-trained diffusion model by establishing a mapping between a cluster of emotional words and a given reference image containing malicious negative content. To validate the effectiveness of our method, we built a dataset and conducted extensive analysis and discussion about its effectiveness. Given consumers’ widespread use of diffusion models, uncovering this threat is critical for society.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google