SAM Fewshot Finetuning for Anatomical Segmentation in Medical Images

要約

我々は、Segment Anything (SAM)を医用画像の解剖学的セグメンテーションタスクに適応させるための、簡単でありながら非常に効果的な少数ショットの微調整戦略を提案する。我々の新しいアプローチは、SAM内のマスクデコーダを再定式化することを中心に展開され、限られたラベル付き画像セット（数ショットコレクション）から得られた数ショットの埋め込みを、画像埋め込みに取り込まれた解剖学的オブジェクトをクエリするためのプロンプトとして活用する。この革新的な再定式化により、スライスごとにプロンプトを提供するためにポイントやバウンディングボックスを網羅的にマークするような、ボリューム画像のラベリングのための時間のかかるオンラインユーザインタラクションの必要性が大幅に削減される。本手法を用いることで、ユーザーはオフラインでいくつかの2次元スライスを手動でセグメンテーションすることができ、これらの注釈付き画像領域の埋め込みは、オンラインセグメンテーションタスクの効果的なプロンプトとして機能する。本手法では、画像エンコーダをフリーズさせたまま、キャッシュメカニズムによってマスクデコーダのみをトレーニングすることで、微調整プロセスの効率を優先する。重要なことは、この手法はボリュームメトリック医用画像に限定されず、あらゆる2D/3Dセグメンテーションタスクに汎用的に適用できることである。本手法を徹底的に評価するために、2つのモダリティにまたがる6つの解剖学的セグメンテーションタスクをカバーする4つのデータセットで、広範な検証を行った。さらに、SAMと完全教師付きnnU-Netにおける異なるプロンプトオプションの比較分析を行った。その結果、点プロンプトのみを採用したSAMと比較して、本手法の優れた性能が実証され（IoUが約50％向上）、完全教師あり手法と同等の性能を発揮する一方で、ラベル付きデータの必要量が少なくとも1桁減少した。

要約(オリジナル)

We propose a straightforward yet highly effective few-shot fine-tuning strategy for adapting the Segment Anything (SAM) to anatomical segmentation tasks in medical images. Our novel approach revolves around reformulating the mask decoder within SAM, leveraging few-shot embeddings derived from a limited set of labeled images (few-shot collection) as prompts for querying anatomical objects captured in image embeddings. This innovative reformulation greatly reduces the need for time-consuming online user interactions for labeling volumetric images, such as exhaustively marking points and bounding boxes to provide prompts slice by slice. With our method, users can manually segment a few 2D slices offline, and the embeddings of these annotated image regions serve as effective prompts for online segmentation tasks. Our method prioritizes the efficiency of the fine-tuning process by exclusively training the mask decoder through caching mechanisms while keeping the image encoder frozen. Importantly, this approach is not limited to volumetric medical images, but can generically be applied to any 2D/3D segmentation task. To thoroughly evaluate our method, we conducted extensive validation on four datasets, covering six anatomical segmentation tasks across two modalities. Furthermore, we conducted a comparative analysis of different prompting options within SAM and the fully-supervised nnU-Net. The results demonstrate the superior performance of our method compared to SAM employing only point prompts (approximately 50% improvement in IoU) and performs on-par with fully supervised methods whilst reducing the requirement of labeled data by at least an order of magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL