Segment Anything Model for Medical Image Analysis: an Experimental Study

要約

タイトル：医療画像解析のためのSegment Anything Model（SAM）：実験的研究

要約：
– 医療画像のセグメンテーションモデルのトレーニングは、データアノテーションの限られた入手可能性と取得費用のため、依然として課題である。
– Segment Anything Model（SAM）は、1つ以上の自然画像の注釈を主にトレーニングした基礎モデルである。SAMでは、ユーザー定義の関心オブジェクトを対話的にセグメントすることができる。
– SAMは、自然画像において印象的なパフォーマンスを示しているが、どのように医療画像ドメインに移行するかは不明である。
– 本研究では、さまざまなモダリティと解剖学の11の医療画像データセットを使用して、SAMが医療画像をセグメントする能力を広範に評価する。
– 実験結果は、IoUで評価されたスパインMRIデータセットの0.1135からヒップX線データセットの0.8650までタスクやデータセットによって大きく異なることを示している。
– SAMは、明確なプロンプトで完全に取り囲まれたオブジェクトを含むタスクにおいて高いパフォーマンスを示す一方、腫瘍のセグメンテーションなど、多くの他のシナリオではパフォーマンスが低い。
– 複数のプロンプトが与えられた場合、パフォーマンスは全体的にわずかに改善するが、オブジェクトが連続していないデータセットではより改善される。
– 1つのプロンプ‌​トに対してはRITMよりも優れた性能を示す一方、複数のプロンプトに対しては類似したパフォーマンスを示す。
– 研究は、SAMが多くのデータセットにおいて悪いから中程度のパフォーマンスを示すが、ゼロショット学習のセットアップの下でいくつかのデータセットに対して良好なパフォーマンスを示すことがわかった。
– SAMは、医療画像ドメインで影響力があるかもしれないが、適応する適切な方法を特定するためには、​​広範な研究が必要である。

要約(オリジナル)

Training segmentation models for medical images continues to be challenging due to the limited availability and acquisition expense of data annotations. Segment Anything Model (SAM) is a foundation model trained on over 1 billion annotations, predominantly for natural images, that is intended to be able to segment the user-defined object of interest in an interactive manner. Despite its impressive performance on natural images, it is unclear how the model is affected when shifting to medical image domains. Here, we perform an extensive evaluation of SAM’s ability to segment medical images on a collection of 11 medical imaging datasets from various modalities and anatomies. In our experiments, we generated point prompts using a standard method that simulates interactive segmentation. Experimental results show that SAM’s performance based on single prompts highly varies depending on the task and the dataset, i.e., from 0.1135 for a spine MRI dataset to 0.8650 for a hip x-ray dataset, evaluated by IoU. Performance appears to be high for tasks including well-circumscribed objects with unambiguous prompts and poorer in many other scenarios such as segmentation of tumors. When multiple prompts are provided, performance improves only slightly overall, but more so for datasets where the object is not contiguous. An additional comparison to RITM showed a much better performance of SAM for one prompt but a similar performance of the two methods for a larger number of prompts. We conclude that SAM shows impressive performance for some datasets given the zero-shot learning setup but poor to moderate performance for multiple other datasets. While SAM as a model and as a learning paradigm might be impactful in the medical imaging domain, extensive research is needed to identify the proper ways of adapting it in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI