SAM-Med3D

要約

Segment Anything Model (SAM) は、2D 自然画像セグメンテーションでは優れたパフォーマンスを示していますが、3D ボリューム医療画像に適用すると、最適ではないパフォーマンスと不安定な予測という重大な欠点が明らかになり、望ましい結果を達成するために過剰な数のプロンプト ポイントが必要になります。
SAM の元の 2D 構造は 3D 空間情報を無視しているため、医療データに基づいて SAM を微調整することによってこれらの問題に対処することはほとんどできません。
この論文では、3D 医用画像用に SAM を修正するための最も包括的な研究である SAM-Med3D について紹介します。
私たちのアプローチは、2 つの主要な側面における包括性を特徴としています。1 つは、包括的に処理された大規模なボリューム医療データセットでトレーニングされた徹底的な 3D アーキテクチャに SAM を包括的に再定式化することです。
第二に、そのパフォーマンスの総合的な評価を提供することです。
具体的には、131,000 を超える 3D マスクと 247 のカテゴリを使用して SAM-Med3D をトレーニングします。
当社の SAM-Med3D は 3D 空間情報のキャプチャに優れており、医療分野で最高のパフォーマンスを誇る微調整された SAM よりも大幅に少ないプロンプト ポイントで競争力のあるパフォーマンスを発揮します。
次に、15 のデータセットにわたってその機能を評価し、解剖学的構造、モダリティ、ターゲット、一般化能力などの複数の観点から分析します。
当社のアプローチは、SAM と比較して、3D ボリューム医療画像の効率と広範なセグメンテーション機能が著しく向上していることを示しています。
私たちのコードは https://github.com/uni-medical/SAM-Med3D で公開されています。

要約(オリジナル)

Although the Segment Anything Model (SAM) has demonstrated impressive performance in 2D natural image segmentation, its application to 3D volumetric medical images reveals significant shortcomings, namely suboptimal performance and unstable prediction, necessitating an excessive number of prompt points to attain the desired outcomes. These issues can hardly be addressed by fine-tuning SAM on medical data because the original 2D structure of SAM neglects 3D spatial information. In this paper, we introduce SAM-Med3D, the most comprehensive study to modify SAM for 3D medical images. Our approach is characterized by its comprehensiveness in two primary aspects: firstly, by comprehensively reformulating SAM to a thorough 3D architecture trained on a comprehensively processed large-scale volumetric medical dataset; and secondly, by providing a comprehensive evaluation of its performance. Specifically, we train SAM-Med3D with over 131K 3D masks and 247 categories. Our SAM-Med3D excels at capturing 3D spatial information, exhibiting competitive performance with significantly fewer prompt points than the top-performing fine-tuned SAM in the medical domain. We then evaluate its capabilities across 15 datasets and analyze it from multiple perspectives, including anatomical structures, modalities, targets, and generalization abilities. Our approach, compared with SAM, showcases pronouncedly enhanced efficiency and broad segmentation capabilities for 3D volumetric medical images. Our code is released at https://github.com/uni-medical/SAM-Med3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google