Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

要約

タイトル：医療画像セグメンテーションのためのSegment Anything Modelの適応

要約：
– SAM（Segment Anything Model）は、画像セグメンテーション分野でよく知られており、優れた分割タスクの能力と操作性の高いインターフェースを持っている。
– しかし、SAMの適用範囲には医療画像セグメンテーションが含まれていないため、SAMは医療画像セグメンテーションにおいてはパフォーマンスが低いことが多い。
– 本論文では、SAMを微調整するのではなく、医療特有のドメイン知識をセグメンテーションモデルに統合することで、Med SAMアダプタを提案する。
– この簡単で効果的なアダプテーション手法により、MSAは医療画像の19のセグメンテーション課題で、CT、MRI、超音波画像、網膜画像、およびデルモスコピック画像を含むさまざまな画像モダリティにおいて優れたパフォーマンスを示した。
– 結果として、MSAはnnUNet、TransUNet、UNetr、MedSegDiffなどの最先端の医療画像セグメンテーション手法を上回り、完全に微調整されたMedSAMとも大きな性能差を示した。
– コードはこちらで公開されます：https://github.com/WuJunde/Medical-SAM-Adapter。

要約(オリジナル)

The Segment Anything Model (SAM) has recently gained popularity in the field of image segmentation. Thanks to its impressive capabilities in all-round segmentation tasks and its prompt-based interface, SAM has sparked intensive discussion within the community. It is even said by many prestigious experts that image segmentation task has been ‘finished’ by SAM. However, medical image segmentation, although an important branch of the image segmentation family, seems not to be included in the scope of Segmenting ‘Anything’. Many individual experiments and recent studies have shown that SAM performs subpar in medical image segmentation. A natural question is how to find the missing piece of the puzzle to extend the strong segmentation capability of SAM to medical image segmentation. In this paper, instead of fine-tuning the SAM model, we propose Med SAM Adapter, which integrates the medical specific domain knowledge to the segmentation model, by a simple yet effective adaptation technique. Although this work is still one of a few to transfer the popular NLP technique Adapter to computer vision cases, this simple implementation shows surprisingly good performance on medical image segmentation. A medical image adapted SAM, which we have dubbed Medical SAM Adapter (MSA), shows superior performance on 19 medical image segmentation tasks with various image modalities including CT, MRI, ultrasound image, fundus image, and dermoscopic images. MSA outperforms a wide range of state-of-the-art (SOTA) medical image segmentation methods, such as nnUNet, TransUNet, UNetr, MedSegDiff, and also outperforms the fully fine-turned MedSAM with a considerable performance gap. Code will be released at: https://github.com/WuJunde/Medical-SAM-Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI