DiffPatch: Generating Customizable Adversarial Patches using Diffusion Models

要約

衣服に印刷された物理的な敵対的なパッチは、個人が人の検出器を回避することができますが、ほとんどの既存の方法はステルス性よりも攻撃の有効性を優先し、審美的に不快なパッチをもたらします。
生成的な敵対的なネットワークと拡散モデルは、より自然に見えるパッチを生成する可能性がありますが、ステルス性と攻撃の有効性のバランスをとることができず、ユーザーのカスタマイズの柔軟性の欠如に失敗することがよくあります。
これらの制限に対処するために、カスタマイズ可能で自然主義的な敵対的なパッチを生成するための新しい拡散ベースのフレームワークであるDiffpatchを提案します。
当社のアプローチにより、ユーザーは（ランダムノイズではなく）参照画像から開始でき、マスクを組み込んで、広場に限定されないさまざまな形状のパッチを作成できます。
拡散プロセス中に元のセマンティクスを保存するために、ヌルテキストの反転を使用して、ランダムノイズサンプルを単一の入力画像にマッピングし、不完全な拡散最適化（IDO）を介してパッチを生成します。
私たちの方法は、自然な外観を維持しながら、最先端の非自然主義的なパッチに匹敵する攻撃性能を実現します。
diffpatchを使用して、多様なシナリオでキャプチャされた1,000を超える画像を含む最初の物理的な敵対的なTシャツデータセットであるAdvt-Shirt-1Kを構築します。
Advt-Shirt-1Kは、将来の防御方法をトレーニングまたはテストするための有用なデータセットとして機能します。

要約(オリジナル)

Physical adversarial patches printed on clothing can enable individuals to evade person detectors, but most existing methods prioritize attack effectiveness over stealthiness, resulting in aesthetically unpleasing patches. While generative adversarial networks and diffusion models can produce more natural-looking patches, they often fail to balance stealthiness with attack effectiveness and lack flexibility for user customization. To address these limitations, we propose DiffPatch, a novel diffusion-based framework for generating customizable and naturalistic adversarial patches. Our approach allows users to start from a reference image (rather than random noise) and incorporates masks to create patches of various shapes, not limited to squares. To preserve the original semantics during the diffusion process, we employ Null-text inversion to map random noise samples to a single input image and generate patches through Incomplete Diffusion Optimization (IDO). Our method achieves attack performance comparable to state-of-the-art non-naturalistic patches while maintaining a natural appearance. Using DiffPatch, we construct AdvT-shirt-1K, the first physical adversarial T-shirt dataset comprising over a thousand images captured in diverse scenarios. AdvT-shirt-1K can serve as a useful dataset for training or testing future defense methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google