PromptUNet: Toward Interactive Medical Image Segmentation

要約

インタラクティブ セグメンテーションとも呼ばれるプロンプトベースのセグメンテーションは、最近、画像セグメンテーションにおける一般的なアプローチになっています。
Segment Anything Model (SAM) と呼ばれる、適切に設計されたプロンプトベースのモデルは、広範囲の自然画像をセグメント化する能力を実証しており、コミュニティで多くの議論を巻き起こしています。
ただし、最近の研究では、SAM は医療画像ではパフォーマンスが低いことが示されています。
このため、医療画像のセグメンテーションに特化した新しいプロンプトベースのセグメンテーション モデルを設計する動機になりました。
このペーパーでは、プロンプトベースのセグメンテーション パラダイムと、医用画像セグメンテーションの成功したアーキテクチャとして広く認識されている UNet を組み合わせます。
結果のモデルを PromptUNet と名付けました。
実際の臨床使用に適応させるために、SAM の既存のプロンプト タイプを拡張して、新しい Supportive Prompt と En-face Prompt を含めます。
私たちは、CT、MRI、超音波、眼底、ダーモスコピー画像などのさまざまな画像モダリティを使用して、19 の医用画像セグメンテーション タスクにおける PromptUNet の機能を評価しました。
私たちの結果は、PromptUNet が、nnUNet、TransUNet、UNetr、MedSegDiff、MSA などの幅広い最先端 (SOTA) 医用画像セグメンテーション手法よりも優れていることを示しています。
コードは https://github.com/WuJunde/PromptUNet でリリースされます。

要約(オリジナル)

Prompt-based segmentation, also known as interactive segmentation, has recently become a popular approach in image segmentation. A well-designed prompt-based model called Segment Anything Model (SAM) has demonstrated its ability to segment a wide range of natural images, which has sparked a lot of discussion in the community. However, recent studies have shown that SAM performs poorly on medical images. This has motivated us to design a new prompt-based segmentation model specifically for medical image segmentation. In this paper, we combine the prompted-based segmentation paradigm with UNet, which is a widly-recognized successful architecture for medical image segmentation. We have named the resulting model PromptUNet. In order to adapt the real-world clinical use, we expand the existing prompt types in SAM to include novel Supportive Prompts and En-face Prompts. We have evaluated the capabilities of PromptUNet on 19 medical image segmentation tasks using a variety of image modalities, including CT, MRI, ultrasound, fundus, and dermoscopic images. Our results show that PromptUNet outperforms a wide range of state-of-the-art (SOTA) medical image segmentation methods, including nnUNet, TransUNet, UNetr, MedSegDiff, and MSA. Code will be released at: https://github.com/WuJunde/PromptUNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google