On the Robustness of Segment Anything

要約

セグメント エニシング モデル (SAM) は、迅速な学習と新しく収集された大規模なデータセットのアイデアにより、優れた物体識別機能を提供します。
プロンプト (ポイント、境界ボックス、マスクなど) と入力画像が与えられると、SAM はプロンプトで示されるすべてのオブジェクトに対して有効なセグメント マスクを生成でき、さまざまなシナリオにわたって高度な一般化を実現し、ゼロショットの一般的な方法となります。
下流のビジョンタスクに転送します。
それにもかかわらず、SAM が特定の脅威的なシナリオでエラーを引き起こす可能性があるかどうかは依然として不明です。
これを明確にすることは、自動運転車などの堅牢性が必要なアプリケーションにとって非常に重要です。
このペーパーでは、敵対的なシナリオと一般的な破損の下での SAM のテスト時の堅牢性を研究することを目的としています。
この目的を達成するために、まず既存の公開データセットを統合して、SAM のテスト時の堅牢性評価ベンチマークを構築します。
次に、SAM に対する代表的な敵対的攻撃を拡張し、さまざまなプロンプトが堅牢性に及ぼす影響を研究します。
第三に、破損したデータセットに対してさまざまなプロンプトを使用して SAM を評価することにより、さまざまな破損タイプの下での SAM の堅牢性を研究します。
SA-1B および KITTI データセットに対して行われた実験により、SAM はブラー関連の破損を除くさまざまな破損に対して顕著な堅牢性を示すことがわかりました。
さらに、SAM は依然として敵対的な攻撃、特に PGD や BIM 攻撃を受けた場合に影響を受けやすい状態です。
このような包括的な研究は、SAM の堅牢性の問題の重要性を強調し、SAM および下流のビジョンタスクに対する一連の新しいタスクを引き起こす可能性があると考えています。

要約(オリジナル)

Segment anything model (SAM) has presented impressive objectness identification capability with the idea of prompt learning and a new collected large-scale dataset. Given a prompt (e.g., points, bounding boxes, or masks) and an input image, SAM is able to generate valid segment masks for all objects indicated by the prompts, presenting high generalization across diverse scenarios and being a general method for zero-shot transfer to downstream vision tasks. Nevertheless, it remains unclear whether SAM may introduce errors in certain threatening scenarios. Clarifying this is of significant importance for applications that require robustness, such as autonomous vehicles. In this paper, we aim to study the testing-time robustness of SAM under adversarial scenarios and common corruptions. To this end, we first build a testing-time robustness evaluation benchmark for SAM by integrating existing public datasets. Second, we extend representative adversarial attacks against SAM and study the influence of different prompts on robustness. Third, we study the robustness of SAM under diverse corruption types by evaluating SAM on corrupted datasets with different prompts. With experiments conducted on SA-1B and KITTI datasets, we find that SAM exhibits remarkable robustness against various corruptions, except for blur-related corruption. Furthermore, SAM remains susceptible to adversarial attacks, particularly when subjected to PGD and BIM attacks. We think such a comprehensive study could highlight the importance of the robustness issues of SAM and trigger a series of new tasks for SAM as well as downstream vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google