Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

要約

タイトル：医療用SAMアダプター：医療画像セグメンテーションのためのSegment Anything Modelの適応

要約：
– SAM（Segment Anything Model）は、画像セグメンテーションの分野で最近人気が高まっています。
– SAMは、オールマイティなセグメンテーションタスクとプロンプトベースのインターフェイスによる印象的な能力を持っており、コミュニティ内で熱烈な議論を呼び起こしています。
– しかし、医療画像セグメンテーションは、画像セグメンテーションの分野の重要な枝でありながら、Segmenting ‘Anything’ の範囲に含まれていないようです。
– 多くの個別の実験や最近の研究から、SAMは医療画像セグメンテーションで劣った性能を示すことが明らかになっています。
– この論文では、事前学習されたSAMモデルをアダプターによるパラメーター効率的なファインチューニングによって微調整することで、SAMの強力なセグメンテーション能力を医療画像セグメンテーションに拡張する可能性のある解決策を提供しています。
– この簡単な実装は、NLP技術Adapterをコンピュータービジョンのケースに転送するもののひとつであり、医療画像セグメンテーションにおいて驚くほど優れたパフォーマンスを発揮しています。
– 医療画像に適合するSAMであるMedical SAM Adapter（MSA）は、CT、MRI、超音波画像、眼底画像、皮膚顕微鏡画像など、様々な画像モダリティを含む19の医療画像セグメンテーション課題で優れた性能を発揮しています。
– MSAは、nnUNet、TransUNet、UNetr、MedSegDiffなどの幅広い最先端の医療画像セグメンテーション手法を上回っています。
– コードはhttps://github.com/WuJunde/Medical-SAM-Adapterで公開されています。

要約(オリジナル)

The Segment Anything Model (SAM) has recently gained popularity in the field of image segmentation. Thanks to its impressive capabilities in all-round segmentation tasks and its prompt-based interface, SAM has sparked intensive discussion within the community. It is even said by many prestigious experts that image segmentation task has been ‘finished’ by SAM. However, medical image segmentation, although an important branch of the image segmentation family, seems not to be included in the scope of Segmenting ‘Anything’. Many individual experiments and recent studies have shown that SAM performs subpar in medical image segmentation. A natural question is how to find the missing piece of the puzzle to extend the strong segmentation capability of SAM to medical image segmentation. In this paper, we present a possible solution by fine-tuning the pretrained SAM model following parameter-efficient fine-tuning paradigm with Adapter. Although this work is still one of a few to transfer the popular NLP technique Adapter to computer vision cases, this simple implementation shows surprisingly good performance on medical image segmentation. A medical image adapted SAM, which we have dubbed Medical SAM Adapter (MSA), shows superior performance on 19 medical image segmentation tasks with various image modalities including CT, MRI, ultrasound image, fundus image, and dermoscopic images. MSA outperforms a wide range of state-of-the-art (SOTA) medical image segmentation methods, such as nnUNet, TransUNet, UNetr, MedSegDiff, and so on. Code will be released at: https://github.com/WuJunde/Medical-SAM-Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI