Implicit Bias Injection Attacks against Text-to-Image Diffusion Models

要約

テキスト間拡散モデル（T2I DMS）の増殖により、日常生活にAIが生成した画像が存在するようになりました。
ただし、偏ったT2Iモデルは、特定の傾向を持つコンテンツを生成することができ、人々の認識に影響を与える可能性があります。
これらのバイアスの意図的な搾取は、誤解を招く情報を一般に伝えるリスクがあります。
バイアスに関する現在の研究では、主に、肌の色や性別などの認識可能な視覚パターンを備えた明示的なバイアスに対処しています。
このペーパーでは、明示的な視覚的特徴を欠いているが、さまざまなセマンティックコンテキストで多様な方法で現れる可能性のある暗黙のバイアスの新しい形式を紹介します。
この微妙で汎用性の高い性質により、このバイアスは、幅広いシナリオを検出し、伝播しやすく、適応できるようになります。
さらに、T2I拡散モデルに対する暗黙のバイアスインジェクション攻撃フレームワーク（IBI-attack）を提案します。
当社の攻撃モジュールは、ユーザー入力またはモデル再再トレーニングを直接操作することなく、プラグアンドプレイで事前に訓練された拡散モデルにシームレスに統合できます。
広範な実験は、元のセマンティクスを維持しながら、微妙で多様な修正を通じてバイアスを導入する際のスキームの有効性を検証します。
さまざまなシナリオでの攻撃の強い隠蔽と移転可能性は、アプローチの重要性をさらに強調しています。
コードはhttps://github.com/hannah1102/ibi-attacksで入手できます。

要約(オリジナル)

The proliferation of text-to-image diffusion models (T2I DMs) has led to an increased presence of AI-generated images in daily life. However, biased T2I models can generate content with specific tendencies, potentially influencing people’s perceptions. Intentional exploitation of these biases risks conveying misleading information to the public. Current research on bias primarily addresses explicit biases with recognizable visual patterns, such as skin color and gender. This paper introduces a novel form of implicit bias that lacks explicit visual features but can manifest in diverse ways across various semantic contexts. This subtle and versatile nature makes this bias challenging to detect, easy to propagate, and adaptable to a wide range of scenarios. We further propose an implicit bias injection attack framework (IBI-Attacks) against T2I diffusion models by precomputing a general bias direction in the prompt embedding space and adaptively adjusting it based on different inputs. Our attack module can be seamlessly integrated into pre-trained diffusion models in a plug-and-play manner without direct manipulation of user input or model retraining. Extensive experiments validate the effectiveness of our scheme in introducing bias through subtle and diverse modifications while preserving the original semantics. The strong concealment and transferability of our attack across various scenarios further underscore the significance of our approach. Code is available at https://github.com/Hannah1102/IBI-attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google