Region-Guided Attack on the Segment Anything Model (SAM)

要約

Segment Anything Model (SAM) は画像セグメンテーションの基礎であり、さまざまなアプリケーション、特に正確なセグメンテーションが重要な自動運転や医療画像処理において優れたパフォーマンスを実証します。
ただし、SAM は敵対的な攻撃に対して脆弱であり、わずかな入力変動によってその機能が著しく損なわれる可能性があります。
FGSM や PGD などの従来の手法は、空間的なニュアンスを無視するグローバルな摂動に依存しているため、セグメンテーション タスクでは効果がないことがよくあります。
Attack-SAM-K や UAD などの最近の手法は、これらの課題に対処し始めていますが、外部の手がかりに依存することが多く、セグメンテーション プロセス内の構造的な相互依存関係を十分に活用していません。
この制限は、セグメンテーション タスクの固有の特性を利用する新しい敵対的戦略の必要性を強調しています。
これに応えて、SAM 専用に設計された領域誘導攻撃 (RGA) を導入します。
RGA は、領域ガイド マップ (RGM) を利用してセグメント化された領域を操作し、大きなセグメントを断片化し、小さなセグメントを拡張するターゲットを絞った摂動を可能にし、SAM からの誤った出力をもたらします。
私たちの実験では、RGA がホワイト ボックス シナリオとブラック ボックス シナリオの両方で高い成功率を達成していることが実証されており、このような高度な攻撃に対する堅牢な防御の必要性が強調されています。
RGA は SAM の脆弱性を明らかにするだけでなく、画像セグメンテーションにおける敵対的な脅威に対するより回復力のある防御を開発するための基礎も築きます。

要約(オリジナル)

The Segment Anything Model (SAM) is a cornerstone of image segmentation, demonstrating exceptional performance across various applications, particularly in autonomous driving and medical imaging, where precise segmentation is crucial. However, SAM is vulnerable to adversarial attacks that can significantly impair its functionality through minor input perturbations. Traditional techniques, such as FGSM and PGD, are often ineffective in segmentation tasks due to their reliance on global perturbations that overlook spatial nuances. Recent methods like Attack-SAM-K and UAD have begun to address these challenges, but they frequently depend on external cues and do not fully leverage the structural interdependencies within segmentation processes. This limitation underscores the need for a novel adversarial strategy that exploits the unique characteristics of segmentation tasks. In response, we introduce the Region-Guided Attack (RGA), designed specifically for SAM. RGA utilizes a Region-Guided Map (RGM) to manipulate segmented regions, enabling targeted perturbations that fragment large segments and expand smaller ones, resulting in erroneous outputs from SAM. Our experiments demonstrate that RGA achieves high success rates in both white-box and black-box scenarios, emphasizing the need for robust defenses against such sophisticated attacks. RGA not only reveals SAM’s vulnerabilities but also lays the groundwork for developing more resilient defenses against adversarial threats in image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google