Robustness of SAM: Segment Anything Under Corruptions and Beyond

要約

セグメント何でもモデル (SAM) は、その名前が示すように、あらゆるオブジェクトを切り出すことができると主張されています。
SAMは、プロンプトの誘導により驚異的なゼロショット転送性能を発揮するビジョンファウンデーションモデルです。
しかし、現時点では、さまざまな種類の破損の下での堅牢性パフォーマンスの包括的な評価が不足しています。
これまでの研究では、SAM が形状ではなくテクスチャ (スタイル) に偏っていることが示されており、その動機として、合成破損であるスタイル転送に対する SAM の堅牢性を調査することから始めます。
スタイルの変更として解釈される破損の影響を使用して、実際の破損ごとに 5 つの重大度レベルを持つ 15 の一般的な破損に対する堅牢性をさらに評価します。
破損を超えて、ローカル オクルージョンと敵対的な摂動に対する SAM の堅牢性をさらに評価します。
全体として、この研究は、破損時およびそれ以降の SAM の堅牢性に関する包括的な実証研究を提供します。

要約(オリジナル)

Segment anything model (SAM), as the name suggests, is claimed to be capable of cutting out any object. SAM is a vision foundation model which demonstrates impressive zero-shot transfer performance with the guidance of a prompt. However, there is currently a lack of comprehensive evaluation of its robustness performance under various types of corruptions. Prior works show that SAM is biased towards texture (style) rather than shape, motivated by which we start by investigating SAM’s robustness against style transfer, which is synthetic corruption. With the effect of corruptions interpreted as a style change, we further evaluate its robustness on 15 common corruptions with 5 severity levels for each real-world corruption. Beyond the corruptions, we further evaluate the SAM robustness on local occlusion and adversarial perturbations. Overall, this work provides a comprehensive empirical study on the robustness of the SAM under corruptions and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google