Segment (Almost) Nothing: Prompt-Agnostic Adversarial Attacks on Segmentation Models

要約

汎用セグメンテーション モデルは、視覚的なプロンプト (点、ボックスなど) やテキスト (オブジェクト名) などのさまざまなプロンプトから (セマンティックな) セグメンテーション マスクを生成できます。
特に、入力画像は画像エンコーダによって前処理され、後でマスク予測に使用される埋め込みベクトルが取得されます。
既存の敵対的攻撃は、エンドツーエンドのタスクをターゲットとしています。つまり、特定の画像とプロンプトのペアに対して予測されるセグメンテーション マスクを変更することを目的としています。
ただし、これには、同じイメージに対する新しいプロンプトごとに個別の攻撃を実行する必要があります。
代わりに、潜在空間における元の画像と摂動画像の埋め込み間の $\ell_2$ 距離を最大化することによって、即時不可知の敵対的攻撃を生成することを提案します。
エンコード プロセスは画像のみに依存するため、画像表現が歪んでいると、さまざまなプロンプトのセグメンテーション マスクに乱れが生じます。
半径 $\epsilon=1/255$ の知覚できない $\ell_\infty$ 境界摂動でさえ、最近提案されたセグメンテーションの基礎モデルによってポイント、ボックス、およびテキスト プロンプトで予測されたマスクを大幅に変更するのに十分な場合が多いことを示します。
さらに、さらなる計算コストをかけずにあらゆる入力に容易に適用できる、普遍的な攻撃、つまり画像固有ではない攻撃を作成する可能性を探ります。

要約(オリジナル)

General purpose segmentation models are able to generate (semantic) segmentation masks from a variety of prompts, including visual (points, boxed, etc.) and textual (object names) ones. In particular, input images are pre-processed by an image encoder to obtain embedding vectors which are later used for mask predictions. Existing adversarial attacks target the end-to-end tasks, i.e. aim at altering the segmentation mask predicted for a specific image-prompt pair. However, this requires running an individual attack for each new prompt for the same image. We propose instead to generate prompt-agnostic adversarial attacks by maximizing the $\ell_2$-distance, in the latent space, between the embedding of the original and perturbed images. Since the encoding process only depends on the image, distorted image representations will cause perturbations in the segmentation masks for a variety of prompts. We show that even imperceptible $\ell_\infty$-bounded perturbations of radius $\epsilon=1/255$ are often sufficient to drastically modify the masks predicted with point, box and text prompts by recently proposed foundation models for segmentation. Moreover, we explore the possibility of creating universal, i.e. non image-specific, attacks which can be readily applied to any input without further computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google