The Biased Artist: Exploiting Cultural Biases via Homoglyphs in Text-Guided Image Generation Models

要約

DALL-E 2 や Stable Diffusion などのテキスト ガイド付き画像生成モデルは、最近、学界や一般大衆から多くの注目を集めています。
これらのモデルは、テキストによる説明を提供することで、さまざまな概念やスタイルを表現する高品質の画像を生成できます。
ただし、そのようなモデルは大量の公開データでトレーニングされ、すぐには明らかにならないトレーニング データから暗黙のうちに関係を学習します。
一般的なマルチモーダル モデルは、テキストの説明内の単一の文字を視覚的に類似した非ラテン文字に置き換えるだけで、生成された画像にトリガーして注入できる文化的バイアスを暗黙的に学習したことを示しています。
これらのいわゆるホモグリフ置換により、悪意のあるユーザーやサービス プロバイダーは、生成された画像に偏りを生じさせ、生成プロセス全体を役に立たなくすることさえできます。
DALL-E 2 および Stable Diffusion に対するこのような攻撃を、テキスト ガイド付きの画像生成モデルとして実際に説明し、CLIP も同様に動作することをさらに示します。
私たちの結果はさらに、多言語データでトレーニングされたテキスト エンコーダーがホモグリフ置換の影響を軽減する方法を提供することを示しています。

要約(オリジナル)

Text-guided image generation models, such as DALL-E 2 and Stable Diffusion, have recently received much attention from academia and the general public. Provided with textual descriptions, these models are capable of generating high-quality images depicting various concepts and styles. However, such models are trained on large amounts of public data and implicitly learn relationships from their training data that are not immediately apparent. We demonstrate that common multimodal models implicitly learned cultural biases that can be triggered and injected into the generated images by simply replacing single characters in the textual description with visually similar non-Latin characters. These so-called homoglyph replacements enable malicious users or service providers to induce biases into the generated images and even render the whole generation process useless. We practically illustrate such attacks on DALL-E 2 and Stable Diffusion as text-guided image generation models and further show that CLIP also behaves similarly. Our results further indicate that text encoders trained on multilingual data provide a way to mitigate the effects of homoglyph replacements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google