SITA: Structurally Imperceptible and Transferable Adversarial Attacks for Stylized Image Generation

要約

画像生成テクノロジーは、さまざまな分野で大きな進歩をもたらしましたが、特に視覚的なアートワークの作成に関して、データの誤用と潜在的な権利侵害に関する懸念も提起しています。
アートワークの保護を目的とした現在の方法は、しばしば敵対的な攻撃を採用しています。
ただし、これらの方法は、移転可能性の低さ、計算コストの高いコスト、顕著なノイズの導入などの課題に直面しており、元のアートワークの美的品質を損ないます。
これらの制限に対処するために、私たちは構造的に知覚できない、移転可能な敵対的（SITA）攻撃を提案します。
SITAは、画像の堅牢なスタイルの表現を切り離して混乱させるクリップベースの耐滅損失を活用します。
この混乱は、様式化された画像生成中のスタイルの抽出を妨げ、それによって全体的なスタイリライゼーションプロセスを損ないます。
重要なことに、SITAはサロゲート拡散モデルの必要性を排除し、計算オーバーヘッドが大幅に減少することです。
メソッドの堅牢なスタイル機能の破壊により、多様なモデル全体で高い転送可能性が保証されます。
さらに、SITAは、画像の知覚できない構造の詳細にノイズを埋め込むことにより摂動を導入します。
このアプローチは、アートワークの視覚的品質を損なうことなく、スタイルの抽出から効果的に保護します。
広範な実験は、SITAが様式化された世代での不正使用に対するアートワークの優れた保護を提供することを示しています。
転送可能性、計算効率、およびノイズの知覚性の観点から、既存の方法を大幅に上回っています。
コードはhttps://github.com/a-raniy-day/sitaで入手できます。

要約(オリジナル)

Image generation technology has brought significant advancements across various fields but has also raised concerns about data misuse and potential rights infringements, particularly with respect to creating visual artworks. Current methods aimed at safeguarding artworks often employ adversarial attacks. However, these methods face challenges such as poor transferability, high computational costs, and the introduction of noticeable noise, which compromises the aesthetic quality of the original artwork. To address these limitations, we propose a Structurally Imperceptible and Transferable Adversarial (SITA) attacks. SITA leverages a CLIP-based destylization loss, which decouples and disrupts the robust style representation of the image. This disruption hinders style extraction during stylized image generation, thereby impairing the overall stylization process. Importantly, SITA eliminates the need for a surrogate diffusion model, leading to significantly reduced computational overhead. The method’s robust style feature disruption ensures high transferability across diverse models. Moreover, SITA introduces perturbations by embedding noise within the imperceptible structural details of the image. This approach effectively protects against style extraction without compromising the visual quality of the artwork. Extensive experiments demonstrate that SITA offers superior protection for artworks against unauthorized use in stylized generation. It significantly outperforms existing methods in terms of transferability, computational efficiency, and noise imperceptibility. Code is available at https://github.com/A-raniy-day/SITA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google