Rickrolling the Artist: Injecting Invisible Backdoors into Text-Guided Image Generation Models

要約

現在、テキストから画像への合成は研究者や一般人の間で大きな人気を博しているが、これらのモデルの安全性はこれまで無視されてきた。多くのテキスト誘導型画像生成モデルは、外部ソースから事前に学習されたテキストエンコーダーに依存しており、ユーザーは取得したモデルが約束された通りに動作すると信じています。しかし、残念なことに、これは事実ではないかもしれません。我々は、テキストガイド付き生成モデルに対するバックドア攻撃を導入し、そのテキストエンコーダが大きな改ざんリスクをもたらすことを実証します。私たちの攻撃はエンコーダをわずかに変更するだけなので、クリーンなプロンプトを持つ画像生成では不審なモデルの挙動は見られません。その後、プロンプトに非ラテン文字を1文字挿入することで、敵はモデルを起動し、あらかじめ定義された属性を持つ画像や、隠された悪意のある説明文に従った画像を生成させることができます。私たちは、Stable Diffusionにおける私たちの攻撃の高い有効性を実証し、1つのバックドアの注入プロセスが2分未満であることを強調しました。また、我々のアプローチを攻撃としてのみ表現するのではなく、ヌードや暴力といった特定の概念に関連するフレーズをエンコーダーに忘れさせ、より安全な画像生成を支援することができます。

要約(オリジナル)

While text-to-image synthesis currently enjoys great popularity among researchers and the general public, the security of these models has been neglected so far. Many text-guided image generation models rely on pre-trained text encoders from external sources, and their users trust that the retrieved models will behave as promised. Unfortunately, this might not be the case. We introduce backdoor attacks against text-guided generative models and demonstrate that their text encoders pose a major tampering risk. Our attacks only slightly alter an encoder so that no suspicious model behavior is apparent for image generations with clean prompts. By then inserting a single non-Latin character into the prompt, the adversary can trigger the model to either generate images with pre-defined attributes or images following a hidden, potentially malicious description. We empirically demonstrate the high effectiveness of our attacks on Stable Diffusion and highlight that the injection process of a single backdoor takes less than two minutes. Besides phrasing our approach solely as an attack, it can also force an encoder to forget phrases related to certain concepts, such as nudity or violence, and help to make image generation safer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL