Attack-SAM: Towards Attacking Segment Anything Model With Adversarial Examples

要約

タイトル：Attack-SAM：Adversarial Examplesを使ったSegment Anything Modelの攻撃に向けて

要約：
– Segment Anything Model（SAM）は、ゼロショット方式でさまざまな下流タスクでの印象的なパフォーマンスにより、最近注目を集めています。
– コンピュータビジョン（CV）分野は、タスク固有のビジョンモデルから基礎モデルに向かう道をたどる可能性があります。しかし、深層ビジョンモデルは、感知的な摂動を伴う間違った予測を行わせることによって、敵対的な例に対して脆弱であると広く認識されています。このような敵対的攻撃に対する脆弱性は、深層モデルをセキュリティに関連する応用に適用する際に懸念事項となります。したがって、ビジョン基礎モデルSAMも敵対的攻撃によって欺かれる可能性があるかどうかを知ることが重要です。
– 私たちの研究は、敵対的な例を用いてSAMを攻撃する方法について包括的な調査を行う、そのようなものとして、私たちの知る限り初めての研究です。
– 基本的な攻撃目標をマスク除去に設定した場合、私たちはSAMの敵対的な堅牢性をフルホワイトボックス設定と転移ベースのブラックボックス設定で調査します。
– マスク除去の基本的な目標を超えて、私たちはさらに調査を行い、敵対的攻撃によって任意のマスクを生成することが可能であることを発見しました。

要約(オリジナル)

Segment Anything Model (SAM) has attracted significant attention recently, due to its impressive performance on various downstream tasks in a zero-short manner. Computer vision (CV) area might follow the natural language processing (NLP) area to embark on a path from task-specific vision models toward foundation models. However, deep vision models are widely recognized as vulnerable to adversarial examples, which fool the model to make wrong predictions with imperceptible perturbation. Such vulnerability to adversarial attacks causes serious concerns when applying deep models to security-sensitive applications. Therefore, it is critical to know whether the vision foundation model SAM can also be fooled by adversarial attacks. To the best of our knowledge, our work is the first of its kind to conduct a comprehensive investigation on how to attack SAM with adversarial examples. With the basic attack goal set to mask removal, we investigate the adversarial robustness of SAM in the full white-box setting and transfer-based black-box settings. Beyond the basic goal of mask removal, we further investigate and find that it is possible to generate any desired mask by the adversarial attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI