BSPA: Exploring Black-box Stealthy Prompt Attacks against Image Generators

要約

非常に大規模な画像ジェネレーターは、さまざまな分野にわたって大きな変革の可能性をもたらします。
これにより、ユーザーは特定のプロンプトをデザインして、いくつかのブラックボックス API を通じてリアルな画像を生成できるようになります。
しかし、いくつかの研究では、画像ジェネレーターは攻撃に対して著しく脆弱であり、特に人間の観察者には知覚できない、手動で設計された有害なテキストによって仕事に適さない (NSFW) コンテンツを生成することが明らかになりました。
画像ジェネレーター、特にブラックボックスでリリースされた API の安全性を向上させるために、普遍的で転送可能な多数のプロンプトが緊急に必要です。
それにもかかわらず、それらは労働集約的な設計プロセスによって制約され、与えられた指示の品質に大きく依存します。
これを実現するために、API ユーザーからの攻撃をシミュレートするためにレトリーバーを採用するブラックボックス ステルス プロンプト攻撃 (BSPA) を導入します。
フィルタ スコアを効果的に利用して、入力プロンプトと一致するように機密性の高い単語の検索空間を調整することで、画像ジェネレータに合わせたステルス プロンプトを作成できます。
重要なのは、このアプローチはモデルに依存せず、モデルの機能への内部アクセスを必要としないため、幅広い画像ジェネレーターへの適用性が保証されます。
BSPA に基づいて、自動プロンプト ツールと包括的なプロンプト攻撃データセット (NSFWeval) を構築しました。
広範な実験により、BSPA が Stable Diffusion XL、Midjourney、DALL-E 2/3 など、利用可能なさまざまな最先端のブラック ボックス モデルのセキュリティ脆弱性を効果的に調査できることが実証されています。
さらに、回復力のあるテキスト フィルターを開発し、将来の即時攻撃に対する画像ジェネレーターのセキュリティを確保するための的を絞った推奨事項を提供します。

要約(オリジナル)

Extremely large image generators offer significant transformative potential across diverse sectors. It allows users to design specific prompts to generate realistic images through some black-box APIs. However, some studies reveal that image generators are notably susceptible to attacks and generate Not Suitable For Work (NSFW) contents by manually designed toxin texts, especially imperceptible to human observers. We urgently need a multitude of universal and transferable prompts to improve the safety of image generators, especially black-box-released APIs. Nevertheless, they are constrained by labor-intensive design processes and heavily reliant on the quality of the given instructions. To achieve this, we introduce a black-box stealthy prompt attack (BSPA) that adopts a retriever to simulate attacks from API users. It can effectively harness filter scores to tune the retrieval space of sensitive words for matching the input prompts, thereby crafting stealthy prompts tailored for image generators. Significantly, this approach is model-agnostic and requires no internal access to the model’s features, ensuring its applicability to a wide range of image generators. Building on BSPA, we have constructed an automated prompt tool and a comprehensive prompt attack dataset (NSFWeval). Extensive experiments demonstrate that BSPA effectively explores the security vulnerabilities in a variety of state-of-the-art available black-box models, including Stable Diffusion XL, Midjourney, and DALL-E 2/3. Furthermore, we develop a resilient text filter and offer targeted recommendations to ensure the security of image generators against prompt attacks in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google