Interactive 3D Medical Image Segmentation with SAM 2

要約

インタラクティブ医用画像セグメンテーション (IMIS) は、医療専門家からの反復的なフィードバックを統合することで、セグメンテーションの精度を向上させる大きな可能性を示しています。
ただし、十分な 3D 医療データが入手できるかどうかが限られているため、ほとんどの IMIS 手法の一般化と堅牢性が制限されます。
Segment Anything Model (SAM) は 2D 画像には効果的ですが、3D 医療画像には高価な半自動スライスごとのアノテーションが必要です。
このペーパーでは、3D 医用画像セグメンテーション向けに、ビデオでトレーニングされた次世代 Meta SAM モデルである SAM 2 のゼロショット機能を調査します。
3D 画像の連続した 2D スライスをビデオ フレームとして扱うことにより、SAM 2 は、単一フレームから 3D ボリューム全体に注釈を完全に自動的に伝播できます。
私たちは、3D 医用画像セグメンテーションで SAM 2 を使用するための実用的なパイプラインを提案し、その効率性とさらなる最適化の可能性を強調する重要な発見を提示します。
具体的には、BraTS2020 と医療セグメンテーション十種競技データセットの数値実験により、SAM 2 には教師あり手法とのギャップがまだあるものの、特定の設定や臓器の種類におけるギャップを縮めることができ、医療専門家のアノテーションの負担が大幅に軽減されることが実証されています。
私たちのコードはオープンソース化され、https://github.com/Chuyun-Shen/SAM_2_Medical_3D で入手可能になります。

要約(オリジナル)

Interactive medical image segmentation (IMIS) has shown significant potential in enhancing segmentation accuracy by integrating iterative feedback from medical professionals. However, the limited availability of enough 3D medical data restricts the generalization and robustness of most IMIS methods. The Segment Anything Model (SAM), though effective for 2D images, requires expensive semi-auto slice-by-slice annotations for 3D medical images. In this paper, we explore the zero-shot capabilities of SAM 2, the next-generation Meta SAM model trained on videos, for 3D medical image segmentation. By treating sequential 2D slices of 3D images as video frames, SAM 2 can fully automatically propagate annotations from a single frame to the entire 3D volume. We propose a practical pipeline for using SAM 2 in 3D medical image segmentation and present key findings highlighting its efficiency and potential for further optimization. Concretely, numerical experiments on the BraTS2020 and the medical segmentation decathlon datasets demonstrate that SAM 2 still has a gap with supervised methods but can narrow the gap in specific settings and organ types, significantly reducing the annotation burden on medical professionals. Our code will be open-sourced and available at https://github.com/Chuyun-Shen/SAM_2_Medical_3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google