SAM Fails to Segment Anything? — SAM-Adapter: Adapting SAM in Underperformed Scenes: Camouflage, Shadow, and More

要約

タイトル：SAM Fails to Segment Anything? — SAM-Adapter: Adapting SAM in Underperformed Scenes: Camouflage, Shadow, and More

要約：
– AI分野の研究に大きな進歩をもたらした大規模なモデル（ファウンデーションモデル）の1つであるSAMは、画像セグメンテーションのタスクに設計されたものであるが、他のファウンデーションモデルと同様に、実験結果から、SAMは影の検出や迷彩における物体検出など、特定のセグメンテーションタスクにおいて不十分な結果を残すことがあることがわかった。
– この研究は、SAMをこれらの下流タスクに適用するための道筋を開拓するものであり、SAMが不十分な結果を残す場合でも使用することができる。SAMネットワークを微調整する代わりに、単純でしかし効果的なアダプターを使用して、ドメイン固有の情報やビジュアルプロンプトをセグメンテーションネットワークに組み込むSAM-Adapterを提案している。
– 広範囲な実験により、SAM-Adapterは、挑戦的なタスクにおいてSAMの性能を大幅に向上させることができ、タスク固有のネットワークモデルを上回り、テストしたタスクで最先端の性能を発揮することができることが示された。
– この研究は、医療画像処理、農業、リモートセンシングなど、様々な分野において、SAMを下流タスクに活用する機会を開くものと考えられる。

要約(オリジナル)

The emergence of large models, also known as foundation models, has brought significant advancements to AI research. One such model is Segment Anything (SAM), which is designed for image segmentation tasks. However, as with other foundation models, our experimental findings suggest that SAM may fail or perform poorly in certain segmentation tasks, such as shadow detection and camouflaged object detection (concealed object detection). This study first paves the way for applying the large pre-trained image segmentation model SAM to these downstream tasks, even in situations where SAM performs poorly. Rather than fine-tuning the SAM network, we propose \textbf{SAM-Adapter}, which incorporates domain-specific information or visual prompts into the segmentation network by using simple yet effective adapters. Our extensive experiments show that SAM-Adapter can significantly elevate the performance of SAM in challenging tasks and we can even outperform task-specific network models and achieve state-of-the-art performance in the task we tested: camouflaged object detection and shadow detection. We believe our work opens up opportunities for utilizing SAM in downstream tasks, with potential applications in various fields, including medical image processing, agriculture, remote sensing, and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI