Customized Segment Anything Model for Medical Image Segmentation

要約

私たちは、医療画像セグメンテーションのための一般的なソリューションである SAMed を提案します。
これまでの方法とは異なり、SAMed は大規模画像セグメンテーション モデルであるセグメント エニシング モデル (SAM) に基づいて構築されており、医療画像セグメンテーション用の大規模モデルをカスタマイズするという新しい研究パラダイムを探索します。
SAMed は、低ランクベース (LoRA) 微調整戦略を SAM 画像エンコーダーに適用し、プロンプト エンコーダーおよびラベル付き医用画像セグメンテーション データセット上のマスク デコーダーとともに微調整します。
また、ウォームアップ微調整戦略と AdamW オプティマイザーが SAMed を正常な収束と低損失に導いていることも観察します。
SAM とは異なり、SAMed は医療画像に対してセマンティック セグメンテーションを実行できます。
当社のトレーニング済み SAMed モデルは、Synapse 多臓器セグメンテーション データセット上で 81.88 DSC と 20.64 HD を達成しており、これは最先端の手法と同等です。
私たちは設計の有効性を検証するために広範な実験を実施します。
SAMed は SAM パラメータのごく一部のみを更新するため、その展開コストとストレージ コストは実際の使用においては非常にわずかです。
SAMed のコードは https://github.com/hitachinsk/SAMed で入手できます。

要約(オリジナル)

We propose SAMed, a general solution for medical image segmentation. Different from the previous methods, SAMed is built upon the large-scale image segmentation model, Segment Anything Model (SAM), to explore the new research paradigm of customizing large-scale models for medical image segmentation. SAMed applies the low-rank-based (LoRA) finetuning strategy to the SAM image encoder and finetunes it together with the prompt encoder and the mask decoder on labeled medical image segmentation datasets. We also observe the warmup finetuning strategy and the AdamW optimizer lead SAMed to successful convergence and lower loss. Different from SAM, SAMed could perform semantic segmentation on medical images. Our trained SAMed model achieves 81.88 DSC and 20.64 HD on the Synapse multi-organ segmentation dataset, which is on par with the state-of-the-art methods. We conduct extensive experiments to validate the effectiveness of our design. Since SAMed only updates a small fraction of the SAM parameters, its deployment cost and storage cost are quite marginal in practical usage. The code of SAMed is available at https://github.com/hitachinsk/SAMed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google