要約
最近の Text-to-Image (T2I) モデルは大きな成功を収めており、そのパフォーマンスと安全性を評価するために多くのベンチマークが提案されています。
ただし、彼らは明示的なプロンプトのみを考慮し、暗黙的なプロンプト (明示的に言及せずにターゲットを示唆する) を無視します。
これらのプロンプトは安全上の制約を取り除き、これらのモデルのアプリケーションに潜在的な脅威をもたらす可能性があります。
この意見書では、暗黙的プロンプトに向けた T2I モデルの現状に焦点を当てています。
私たちは ImplicitBench というベンチマークを提示し、一般的な T2I モデルでの暗黙的プロンプトのパフォーマンスと影響に関する調査を実施します。
具体的には、一般的なシンボル、有名人のプライバシー、職場では安全ではない (NSFW) の問題という 3 つの側面に関する 2,000 以上の暗黙的プロンプトを設計および収集し、これらの暗黙的プロンプトの下で 6 つのよく知られた T2I モデルの機能を評価します。
実験結果は、(1) T2I モデルは、暗黙的なプロンプトによって示されるさまざまなターゲット シンボルを正確に作成できることを示しています。
(2) 暗黙的なプロンプトは、T2I モデルにプライバシー漏洩の潜在的なリスクをもたらします。
(3) 評価された T2I モデルのほとんどにおける NSFW の制約は、暗黙的なプロンプトを使用して回避できます。
私たちは、T2I コミュニティにおける暗黙的プロンプトの潜在的可能性とリスクに対するさらなる注意と、暗黙的プロンプトの機能と影響についてのさらなる調査を呼びかけ、その利点を活用しながらリスクを軽減するバランスのとれたアプローチを提唱します。
要約(オリジナル)
Recent text-to-image (T2I) models have had great success, and many benchmarks have been proposed to evaluate their performance and safety. However, they only consider explicit prompts while neglecting implicit prompts (hint at a target without explicitly mentioning it). These prompts may get rid of safety constraints and pose potential threats to the applications of these models. This position paper highlights the current state of T2I models toward implicit prompts. We present a benchmark named ImplicitBench and conduct an investigation on the performance and impacts of implicit prompts with popular T2I models. Specifically, we design and collect more than 2,000 implicit prompts of three aspects: General Symbols, Celebrity Privacy, and Not-Safe-For-Work (NSFW) Issues, and evaluate six well-known T2I models’ capabilities under these implicit prompts. Experiment results show that (1) T2I models are able to accurately create various target symbols indicated by implicit prompts; (2) Implicit prompts bring potential risks of privacy leakage for T2I models. (3) Constraints of NSFW in most of the evaluated T2I models can be bypassed with implicit prompts. We call for increased attention to the potential and risks of implicit prompts in the T2I community and further investigation into the capabilities and impacts of implicit prompts, advocating for a balanced approach that harnesses their benefits while mitigating their risks.
arxiv情報
| 著者 | Yue Yang,Yuqi lin,Hong Liu,Wenqi Shao,Runjian Chen,Hailong Shang,Yu Wang,Yu Qiao,Kaipeng Zhang,Ping Luo |
| 発行日 | 2024-03-06 12:29:36+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google