nnSAM: Plug-and-play Segment Anything Model Improves nnUNet Performance

要約

医療画像の自動セグメンテーションは、最新の臨床ワークフローにおいて非常に重要です。
Segment Anything Model (SAM) は、特定のドメインのトレーニングを必要とせずに画像をセグメンテーションするための多用途ツールとして登場しましたが、人間によるプロンプトが必要であり、特定のドメインでは制限がある場合があります。
nnUNet のような従来のモデルは、推論中に自動セグメンテーションを実行し、特定のドメインで効果的ですが、ドメイン固有の広範なトレーニングが必要です。
基礎モデルとドメイン固有モデルの長所を組み合わせるために、nnSAM を提案します。これは、SAM の堅牢な特徴抽出と nnUNet の自動構成を統合して、小規模なデータセットのセグメンテーションの精度を高めます。
当社の nnSAM モデルは、2 つの主要なアプローチを最適化します。1 つは、SAM の特徴抽出と nnUNet のドメイン固有の適応の活用、もう 1 つはレベル セット関数と曲率計算に基づく境界形状監視損失関数の組み込みで、限られたデータから解剖学的形状の事前分布を学習します。
私たちは、脳白質、肝臓、肺、心臓のセグメンテーションという 4 つのセグメンテーション タスクに関して nnSAM を評価しました。
私たちの方法は他の方法よりも優れており、nnUNetのDICEスコア79.25％およびASD1.36mmと比較して、20のトレーニングサンプルを使用した脳白質セグメンテーションで最高のDICEスコア82.77％および最低のASD1.14mmを達成しました。
サンプルサイズの調査では、トレーニングサンプルが少ないnnSAMの利点が強調されました。
私たちの結果は、nnSAM によるセグメンテーション パフォーマンスの大幅な向上を実証し、医療画像セグメンテーションにおける小サンプル学習の可能性を示しています。

要約(オリジナル)

Automatic segmentation of medical images is crucial in modern clinical workflows. The Segment Anything Model (SAM) has emerged as a versatile tool for image segmentation without specific domain training, but it requires human prompts and may have limitations in specific domains. Traditional models like nnUNet perform automatic segmentation during inference and are effective in specific domains but need extensive domain-specific training. To combine the strengths of foundational and domain-specific models, we propose nnSAM, integrating SAM’s robust feature extraction with nnUNet’s automatic configuration to enhance segmentation accuracy on small datasets. Our nnSAM model optimizes two main approaches: leveraging SAM’s feature extraction and nnUNet’s domain-specific adaptation, and incorporating a boundary shape supervision loss function based on level set functions and curvature calculations to learn anatomical shape priors from limited data. We evaluated nnSAM on four segmentation tasks: brain white matter, liver, lung, and heart segmentation. Our method outperformed others, achieving the highest DICE score of 82.77% and the lowest ASD of 1.14 mm in brain white matter segmentation with 20 training samples, compared to nnUNet’s DICE score of 79.25% and ASD of 1.36 mm. A sample size study highlighted nnSAM’s advantage with fewer training samples. Our results demonstrate significant improvements in segmentation performance with nnSAM, showcasing its potential for small-sample learning in medical image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google