Segment Anything Model with Uncertainty Rectification for Auto-Prompting Medical Image Segmentation

要約

Segment Anything Model (SAM) の導入により、プロンプト主導型の画像セグメンテーションが大幅に進歩しました。
ただし、SAM を医療画像セグメンテーションに適用するには、許容可能なパフォーマンスを得るためにターゲット構造を手動でプロンプトする必要があり、依然として労力がかかります。
SAM を完全に自動化するための自動プロンプトの試みにもかかわらず、医療画像処理の分野では依然として標準以下のパフォーマンスを示し、信頼性に欠けています。
この論文では、自動プロンプト医療画像セグメンテーションの堅牢性と信頼性を強化するための不確実性を修正した SAM フレームワークである UR-SAM を提案します。
私たちの方法には、予測の分布を推定して不確実性マップを生成する即時拡張モジュールと、SAM のパフォーマンスをさらに強化する不確実性ベースの修正モジュールが組み込まれています。
35 臓器のセグメンテーションをカバーする 2 つの公開 3D 医療データセットでの広範な実験により、追加のトレーニングや微調整を行わずに、私たちの方法がダイス類似係数で最大 10.7 % および 13.8 % までセグメンテーションのパフォーマンスをさらに向上させ、効率と広範な機能を実証していることが実証されました。
手動プロンプトを必要としない医療画像のセグメンテーション。

要約(オリジナル)

The introduction of the Segment Anything Model (SAM) has marked a significant advancement in prompt-driven image segmentation. However, SAM’s application to medical image segmentation requires manual prompting of target structures to obtain acceptable performance, which is still labor-intensive. Despite attempts of auto-prompting to turn SAM into a fully automatic manner, it still exhibits subpar performance and lacks of reliability in the field of medical imaging. In this paper, we propose UR-SAM, an uncertainty rectified SAM framework to enhance the robustness and reliability for auto-prompting medical image segmentation. Our method incorporates a prompt augmentation module to estimate the distribution of predictions and generate uncertainty maps, and an uncertainty-based rectification module to further enhance the performance of SAM. Extensive experiments on two public 3D medical datasets covering the segmentation of 35 organs demonstrate that without supplementary training or fine-tuning, our method further improves the segmentation performance with up to 10.7 % and 13.8 % in dice similarity coefficient, demonstrating efficiency and broad capabilities for medical image segmentation without manual prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google