Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

要約

タイトル: 医療用SAMアダプタ：医療画像セグメンテーションのためのSegment Anything Modelの適応

要約:
– Segment Anything Model（SAM）は、画像セグメンテーションの分野で最近人気が高まっています。
– SAMは、オールラウンドのセグメンテーションタスクに対する印象的な能力と、プロンプトベースのインターフェースにより、コミュニティ内で激しい議論を引き起こしています。
– しかし、医療画像セグメンテーションは、画像セグメンテーションファミリーの重要な枝であるにもかかわらず、「何でもセグメント化する」には含まれていないようです。
– SAMを医療画像セグメンテーションに拡張するための欠けている要素を見つける自然な問題があります。
– この論文では、SAMモデルを微調整する代わりに、医療特有のドメイン知識をセグメンテーションモデルにシンプルで効果的な適応技術で統合するMed SAM Adapterを提案します。
– この簡単な実装は、NLP技術アダプタをコンピュータビジョンの場合に転送するわずかの作業の1つでありながら、医療画像セグメンテーションで驚くほど良好なパフォーマンスを示しています。
– 医療画像に適応されたSAM、いわゆるMedical SAM Adapter（MSA）は、CT、MRI、超音波、眼底画像、および皮膚鏡像を含むさまざまな画像モダリティに対して19の医療画像セグメンテーションタスクで優れたパフォーマンスを示しています。
– MSAは、nnUNet、TransUNet、UNetr、MedSegDiffなどの最先端の医療画像セグメンテーション方法の幅広い範囲を上回り、完全に微調整されたMedSAMをかなりの性能差で上回ります。
– コードは、https://github.com/WuJunde/Medical-SAM-Adapterで公開されます。

要約(オリジナル)

The Segment Anything Model (SAM) has recently gained popularity in the field of image segmentation. Thanks to its impressive capabilities in all-round segmentation tasks and its prompt-based interface, SAM has sparked intensive discussion within the community. It is even said by many prestigious experts that image segmentation task has been ‘finished’ by SAM. However, medical image segmentation, although an important branch of the image segmentation family, seems not to be included in the scope of Segmenting ‘Anything’. Many individual experiments and recent studies have shown that SAM performs subpar in medical image segmentation. A natural question is how to find the missing piece of the puzzle to extend the strong segmentation capability of SAM to medical image segmentation. In this paper, instead of fine-tuning the SAM model, we propose Med SAM Adapter, which integrates the medical specific domain knowledge to the segmentation model, by a simple yet effective adaptation technique. Although this work is still one of a few to transfer the popular NLP technique Adapter to computer vision cases, this simple implementation shows surprisingly good performance on medical image segmentation. A medical image adapted SAM, which we have dubbed Medical SAM Adapter (MSA), shows superior performance on 19 medical image segmentation tasks with various image modalities including CT, MRI, ultrasound image, fundus image, and dermoscopic images. MSA outperforms a wide range of state-of-the-art (SOTA) medical image segmentation methods, such as nnUNet, TransUNet, UNetr, MedSegDiff, and also outperforms the fully fine-turned MedSAM with a considerable performance gap. Code will be released at: https://github.com/WuJunde/Medical-SAM-Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI