Evaluating SAM2’s Role in Camouflaged Object Detection: From SAM to SAM2

要約

Meta AI Research によって汎用オブジェクト セグメンテーション モデルとして導入された Segment Anything Model (SAM) は、すぐに幅広い注目を集め、学術コミュニティに大きな影響を与えました。
アプリケーションをビデオに拡張するために、Meta はビデオと画像の両方のセグメンテーションが可能な統合モデルである Segment Anything Model 2 (SAM2) をさらに開発しています。
SAM2 は、適用可能なドメイン、迅速なセグメンテーションの精度、および実行速度の点で、以前のバージョンに比べて顕著な改善を示しています。
ただし、このレポートでは、SAM と比較して、自動モードでプロンプトなしで画像内のさまざまなオブジェクトを認識する SAM2 の能力が低下していることが明らかになりました。
具体的には、研究者による SAM モデル ファミリのさらなる探索を促すことを期待して、このパフォーマンス低下を評価するために偽装物体検出という困難なタスクを採用しています。
この論文の結果は \url{https://github.com/luckybird1994/SAMCOD} で提供されます。

要約(オリジナル)

The Segment Anything Model (SAM), introduced by Meta AI Research as a generic object segmentation model, quickly garnered widespread attention and significantly influenced the academic community. To extend its application to video, Meta further develops Segment Anything Model 2 (SAM2), a unified model capable of both video and image segmentation. SAM2 shows notable improvements over its predecessor in terms of applicable domains, promptable segmentation accuracy, and running speed. However, this report reveals a decline in SAM2’s ability to perceive different objects in images without prompts in its auto mode, compared to SAM. Specifically, we employ the challenging task of camouflaged object detection to assess this performance decrease, hoping to inspire further exploration of the SAM model family by researchers. The results of this paper are provided in \url{https://github.com/luckybird1994/SAMCOD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google