Segment Anything Model for Medical Image Analysis: an Experimental Study

要約

タイトル: 医療画像解析用セグメンテーションモデル：実験的研究
要約:
– 医療画像のセグメンテーションモデルのトレーニングは、データの注釈の入手性と取得費用の限界のために課題である。
– Segment Anything Model (SAM)は、10億枚以上の注釈データで訓練され、主に自然画像用として開発されたモデルで、ユーザーが定義した対象をインタラクティブにセグメンテーションすることができる。
– SAMの自然画像における性能は優れているが、医療画像に移行した場合の効果は不明である。
– 本研究では、様々なモダリティと解剖学からなる11の医療画像データセットにおいて、SAMが医療画像をセグメンテーションする能力について詳細に評価した。
– 実験結果は、IoUで評価した場合、単一のプロンプトに基づくSAMの性能はタスクとデータセットによって大きく異なることを示している。例えば、腰のX線データセットでは0.8650、脊椎MRIデータセットでは0.1135であった。
– SAMのパフォーマンスは、説明が明確な円形が整ったオブジェクトの場合は高く、腫瘍のセグメンテーションなどの他の場合は悪くなる傾向があった。複数のプロンプトがある場合、性能は全体的に僅かに改善される。
– SAMとRITMの比較により、一つのプロンプトにおいてSAMの性能が優れていたが、複数のプロンプトにおいては両者の性能に差がなかった。
– SAMは、ゼロショット学習のセットアップでいくつかのデータセットにおいて優れたパフォーマンスを示したが、多数のデータセットにおいては性能が低いまたは中程度であった。SAMは医療画像領域において有用なモデルとして注目されるが、適応方法を特定するために多くの研究が必要である。

要約(オリジナル)

Training segmentation models for medical images continues to be challenging due to the limited availability and acquisition expense of data annotations. Segment Anything Model (SAM) is a foundation model trained on over 1 billion annotations, predominantly for natural images, that is intended to be able to segment the user-defined object of interest in an interactive manner. Despite its impressive performance on natural images, it is unclear how the model is affected when shifting to medical image domains. Here, we perform an extensive evaluation of SAM’s ability to segment medical images on a collection of 11 medical imaging datasets from various modalities and anatomies. In our experiments, we generated point prompts using a standard method that simulates interactive segmentation. Experimental results show that SAM’s performance based on single prompts highly varies depending on the task and the dataset, i.e., from 0.1135 for a spine MRI dataset to 0.8650 for a hip x-ray dataset, evaluated by IoU. Performance appears to be high for tasks including well-circumscribed objects with unambiguous prompts and poorer in many other scenarios such as segmentation of tumors. When multiple prompts are provided, performance improves only slightly overall, but more so for datasets where the object is not contiguous. An additional comparison to RITM showed a much better performance of SAM for one prompt but a similar performance of the two methods for a larger number of prompts. We conclude that SAM shows impressive performance for some datasets given the zero-shot learning setup but poor to moderate performance for multiple other datasets. While SAM as a model and as a learning paradigm might be impactful in the medical imaging domain, extensive research is needed to identify the proper ways of adapting it in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI