FS-MedSAM2: Exploring the Potential of SAM2 for Few-Shot Medical Image Segmentation without Fine-tuning

要約

Segment Anything Model 2 (SAM2) は最近、自然画像とビデオのゼロショット プロンプト セグメンテーションにおいて優れたパフォーマンスを実証しました。
ただし、医療画像に適用すると大きな課題に直面します。
SAM2 のリリース以来、SAM2 のセグメンテーション機能を医療画像領域に適応させるために多くの試みが行われてきました。
これらの取り組みには通常、大量のラベル付きデータを使用してモデルの重みを微調整することが含まれます。
この論文では、訓練されたメモリ アテンション モジュールとマスク プロンプトを処理する機能を最大限に活用することで、別の観点から SAM2 を調査します。
FS-MedSAM2 は、SAM2 が微調整を必要とせず、数ショットの設定で優れた医用画像セグメンテーションを実現できるシンプルかつ効果的なフレームワークです。
私たちのフレームワークは、公的に利用可能な 2 つの医療画像データセットにおいて、現在の最先端のものよりも優れたパフォーマンスを発揮します。
コードは https://github.com/DeepMed-Lab-ECNU/FS_MedSAM2 で入手できます。

要約(オリジナル)

The Segment Anything Model 2 (SAM2) has recently demonstrated exceptional performance in zero-shot prompt segmentation for natural images and videos. However, it faces significant challenges when applied to medical images. Since its release, many attempts have been made to adapt SAM2’s segmentation capabilities to the medical imaging domain. These efforts typically involve using a substantial amount of labeled data to fine-tune the model’s weights. In this paper, we explore SAM2 from a different perspective via making the full use of its trained memory attention module and its ability of processing mask prompts. We introduce FS-MedSAM2, a simple yet effective framework that enables SAM2 to achieve superior medical image segmentation in a few-shot setting, without the need for fine-tuning. Our framework outperforms the current state-of-the-arts on two publicly available medical image datasets. The code is available at https://github.com/DeepMed-Lab-ECNU/FS_MedSAM2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google