Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

要約

タイトル：Medical SAM Adapter：医療画像セグメンテーションのためにSegment Anything Modelを適応する

要約：

– SAM（Segment Anything Model）は、画像セグメンテーション分野で人気が高まっています。
– SAMは、あらゆるセグメンテーションタスクにおいて優れた能力を持ち、その即座のインターフェースにより、コミュニティ内で激しい議論を引き起こしています。
– しかし、医療画像セグメンテーションは、画像セグメンテーションファミリーの重要な分野であるにもかかわらず、「Anything」をセグメンテーションすることができるとされているSAMに含まれていないようです。
– SAMが医療画像セグメンテーションにおいて劣った性能を示すため、この分野におけるSAMの強力なセグメンテーション能力を拡張するための欠けている部分を見つける必要があります。
– この論文では、SAMモデルを微調整する代わりに、医療特有のドメイン知識をセグメンテーションモデルにシンプルかつ効果的な適応技術によって統合するMed SAM Adapterを提案しています。
– このシンプルな実装にもかかわらず、この作業は人気のあるNLP技術Adapterをコンピュータビジョンケースに転送するわずかなものの1つであり、医療画像セグメンテーションに驚くほど優れたパフォーマンスを示しています。
– Medical SAM Adapter（MSA）は、CT、MRI、超音波画像、眼底画像、および皮膚顕微鏡画像を含むさまざまな画像モダリティにおいて、19の医療画像セグメンテーションタスクにおいて優れたパフォーマンスを発揮しています。
– MSAは、nnUNet、TransUNet、UNetr、MedSegDiffなどの幅広い最新の医療画像セグメンテーション手法を上回り、フルに微調整されたMedSAMよりもかなり優れたパフォーマンス差を示します。 コードはhttps://github.com/WuJunde/Medical-SAM-Adapterで公開されます。

要約(オリジナル)

The Segment Anything Model (SAM) has recently gained popularity in the field of image segmentation. Thanks to its impressive capabilities in all-round segmentation tasks and its prompt-based interface, SAM has sparked intensive discussion within the community. It is even said by many prestigious experts that image segmentation task has been ‘finished’ by SAM. However, medical image segmentation, although an important branch of the image segmentation family, seems not to be included in the scope of Segmenting ‘Anything’. Many individual experiments and recent studies have shown that SAM performs subpar in medical image segmentation. A natural question is how to find the missing piece of the puzzle to extend the strong segmentation capability of SAM to medical image segmentation. In this paper, instead of fine-tuning the SAM model, we propose Med SAM Adapter, which integrates the medical specific domain knowledge to the segmentation model, by a simple yet effective adaptation technique. Although this work is still one of a few to transfer the popular NLP technique Adapter to computer vision cases, this simple implementation shows surprisingly good performance on medical image segmentation. A medical image adapted SAM, which we have dubbed Medical SAM Adapter (MSA), shows superior performance on 19 medical image segmentation tasks with various image modalities including CT, MRI, ultrasound image, fundus image, and dermoscopic images. MSA outperforms a wide range of state-of-the-art (SOTA) medical image segmentation methods, such as nnUNet, TransUNet, UNetr, MedSegDiff, and also outperforms the fully fine-turned MedSAM with a considerable performance gap. Code will be released at: https://github.com/WuJunde/Medical-SAM-Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI