ProMISe: Promptable Medical Image Segmentation using SAM

要約

Segment Anything Model (SAM) の提案により、医療画像セグメンテーション (MIS) 用の SAM の微調整が一般的になりました。
ただし、SAM モデルのサイズが大きく、自然画像と医療画像の間には領域の大きなギャップがあるため、微調整ベースの戦略はコストがかかり、不安定性、特徴の損傷、壊滅的な忘却の潜在的なリスクを伴います。
さらに、微調整戦略を通じて SAM をドメイン固有の MIS に転送する一部の方法では、モデルのプロンプト機能が無効になり、その利用シナリオが大幅に制限されます。
この論文では、ターゲット ドメインでユークリッド適応プロンプトを備えた SAM ベースの基盤モデルを提供する自動プロンプト モジュール (APM) を提案します。
私たちの実験は、このような適応プロンプトが MIS における微調整されていない SAM のパフォーマンスを大幅に向上させることを示しています。
さらに、SAM を特定の医療領域に適応させるための、インクリメンタル パターン シフティング (IPS) と呼ばれる新しい非侵襲的方法を提案します。
実験結果は、IPS により、微調整を必要とせずに SAM が MIS で最先端のパフォーマンスまたは競争力のあるパフォーマンスを達成できることを示しています。
これら 2 つの方法を組み合わせることで、Promptable Medical Image Segmentation のためのエンドツーエンドの非微調整フレームワークである ProMISe を提案します。
私たちの実験では、私たちの方法を個別に使用することも、組み合わせて使用​​することも、SAM のパラメーターをすべて凍結した状態で、低コストのパターンシフトで満足のいくパフォーマンスを達成できることを示しています。

要約(オリジナル)

With the proposal of the Segment Anything Model (SAM), fine-tuning SAM for medical image segmentation (MIS) has become popular. However, due to the large size of the SAM model and the significant domain gap between natural and medical images, fine-tuning-based strategies are costly with potential risk of instability, feature damage and catastrophic forgetting. Furthermore, some methods of transferring SAM to a domain-specific MIS through fine-tuning strategies disable the model’s prompting capability, severely limiting its utilization scenarios. In this paper, we propose an Auto-Prompting Module (APM), which provides SAM-based foundation model with Euclidean adaptive prompts in the target domain. Our experiments demonstrate that such adaptive prompts significantly improve SAM’s non-fine-tuned performance in MIS. In addition, we propose a novel non-invasive method called Incremental Pattern Shifting (IPS) to adapt SAM to specific medical domains. Experimental results show that the IPS enables SAM to achieve state-of-the-art or competitive performance in MIS without the need for fine-tuning. By coupling these two methods, we propose ProMISe, an end-to-end non-fine-tuned framework for Promptable Medical Image Segmentation. Our experiments demonstrate that both using our methods individually or in combination achieves satisfactory performance in low-cost pattern shifting, with all of SAM’s parameters frozen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google