SAM2-Adapter: Evaluating & Adapting Segment Anything 2 in Downstream Tasks: Camouflage, Shadow, Medical Image Segmentation, and More

要約

基礎モデルとも呼ばれる大規模モデルの出現により、AI 研究の状況が大きく変わり、Segment Anything (SAM) のようなモデルがさまざまな画像セグメンテーション シナリオで顕著な成功を収めています。
SAM はその進歩にも関わらず、カモフラージュされたオブジェクトや医療画像処理など、いくつかの複雑な低レベルのセグメンテーション タスクを処理する際に限界に直面しました。
これに応えて、2023 年に SAM アダプターを導入しました。これにより、これらの困難なタスクにおけるパフォーマンスの向上が実証されました。
今回、強化されたアーキテクチャとより大規模なトレーニング コーパスを備えた後継版である Segment Anything 2 (SAM2) のリリースに伴い、私たちはこれらの課題を再評価しています。
このペーパーでは、SAM2 で観察される永続的な制限を克服し、医療画像のセグメンテーション、偽装 (隠蔽) オブジェクトの検出、および
影の検出。
SAM2-Adapter は、SAM-Adapter の強みを基盤としており、さまざまなアプリケーション向けに拡張された汎用性と構成可能性を提供します。
SAM2-Adapter の有効性を実証する広範な実験結果を紹介します。
私たちは可能性を示し、優れたセグメンテーション結果を達成するために SAM2 アダプターを備えた SAM2 モデルを活用することを研究コミュニティに奨励します。
コード、事前トレーニングされたモデル、およびデータ処理プロトコルは、http://tianrun-chen.github.io/SAM-Adaptor/ で入手できます。

要約(オリジナル)

The advent of large models, also known as foundation models, has significantly transformed the AI research landscape, with models like Segment Anything (SAM) achieving notable success in diverse image segmentation scenarios. Despite its advancements, SAM encountered limitations in handling some complex low-level segmentation tasks like camouflaged object and medical imaging. In response, in 2023, we introduced SAM-Adapter, which demonstrated improved performance on these challenging tasks. Now, with the release of Segment Anything 2 (SAM2), a successor with enhanced architecture and a larger training corpus, we reassess these challenges. This paper introduces SAM2-Adapter, the first adapter designed to overcome the persistent limitations observed in SAM2 and achieve new state-of-the-art (SOTA) results in specific downstream tasks including medical image segmentation, camouflaged (concealed) object detection, and shadow detection. SAM2-Adapter builds on the SAM-Adapter’s strengths, offering enhanced generalizability and composability for diverse applications. We present extensive experimental results demonstrating SAM2-Adapter’s effectiveness. We show the potential and encourage the research community to leverage the SAM2 model with our SAM2-Adapter for achieving superior segmentation outcomes. Code, pre-trained models, and data processing protocols are available at http://tianrun-chen.github.io/SAM-Adaptor/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google