Segment Anything Model for Medical Image Analysis: an Experimental Study

要約

医療画像のセグメンテーション モデルのトレーニングは、利用できるデータ アノテーションが限られているため、引き続き困難です。
Segment Anything Model (SAM) は、対話型の方法でユーザー定義の対象オブジェクトをセグメント化することを目的とした基礎モデルです。
自然画像のパフォーマンスは優れていますが、医療画像ドメインには独自の一連の課題が生じます。
ここでは、さまざまなモダリティや解剖学的構造からの 19 個の医用画像データセットのコレクションで医用画像をセグメント化する SAM の機能について広範な評価を実行します。
以下の結果を報告します: (1) 単一プロンプトに基づく SAM のパフォーマンスは、脊椎 MRI の IoU=0.1135 から股関節 X 線の IoU=0.8650 まで、データセットとタスクに応じて大きく異なります。
(2) セグメンテーションのパフォーマンスは、明確に囲まれたオブジェクトで曖昧さが少ないプロンプトを使用する場合に優れているように見えますが、脳腫瘍のセグメンテーションなどの他のさまざまなシナリオではパフォーマンスが低下するようです。
(3) SAM は、ポイント プロンプトよりもボックス プロンプトの方が著しくパフォーマンスが優れています。
(4) SAM は、ほぼすべてのシングルポイント プロンプト設定において、同様のメソッド RITM、SimpleClick、FocalClick よりも優れたパフォーマンスを発揮します。
(5) 複数ポイントのプロンプトが繰り返し提供される場合、SAM のパフォーマンスは通常わずかしか向上しませんが、他のメソッドのパフォーマンスは SAM のポイントベースのパフォーマンスを上回るレベルまで向上します。
また、テストされたすべてのデータセットでの SAM のパフォーマンス、反復セグメンテーション、およびプロンプトのあいまいさを考慮した SAM の動作について、いくつかの図も提供します。
SAM は、特定の医療画像データセットに対しては優れたゼロショット セグメンテーション パフォーマンスを示しますが、他のデータセットに対しては中程度から劣ったパフォーマンスを示すと結論付けています。
SAM は、医療画像処理における自動医療画像セグメンテーションに大きな影響を与える可能性がありますが、使用する際には適切な注意を払う必要があります。

要約(オリジナル)

Training segmentation models for medical images continues to be challenging due to the limited availability of data annotations. Segment Anything Model (SAM) is a foundation model that is intended to segment user-defined objects of interest in an interactive manner. While the performance on natural images is impressive, medical image domains pose their own set of challenges. Here, we perform an extensive evaluation of SAM’s ability to segment medical images on a collection of 19 medical imaging datasets from various modalities and anatomies. We report the following findings: (1) SAM’s performance based on single prompts highly varies depending on the dataset and the task, from IoU=0.1135 for spine MRI to IoU=0.8650 for hip X-ray. (2) Segmentation performance appears to be better for well-circumscribed objects with prompts with less ambiguity and poorer in various other scenarios such as the segmentation of brain tumors. (3) SAM performs notably better with box prompts than with point prompts. (4) SAM outperforms similar methods RITM, SimpleClick, and FocalClick in almost all single-point prompt settings. (5) When multiple-point prompts are provided iteratively, SAM’s performance generally improves only slightly while other methods’ performance improves to the level that surpasses SAM’s point-based performance. We also provide several illustrations for SAM’s performance on all tested datasets, iterative segmentation, and SAM’s behavior given prompt ambiguity. We conclude that SAM shows impressive zero-shot segmentation performance for certain medical imaging datasets, but moderate to poor performance for others. SAM has the potential to make a significant impact in automated medical image segmentation in medical imaging, but appropriate care needs to be applied when using it.

arxiv情報

著者 Maciej A. Mazurowski,Haoyu Dong,Hanxue Gu,Jichen Yang,Nicholas Konz,Yixin Zhang
発行日 2023-05-17 17:20:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG パーマリンク