Segment Anything Model for Medical Images?

要約

【タイトル】医療画像のための「何でもセグメンテーションモデル」はあるか？

【要約】
・Segment Anything Model（SAM）は、一般的な画像セグメンテーションのための初めての基礎モデルである。
・2つの主要なモード、自動的にすべてを行うものと手動のプロンプトを使用することで、事前学習モデルを使用してゼロショット画像セグメンテーションを保証する新しい促進型セグメンテーションタスクを設計した。
・SAMは、様々な自然画像セグメンテーションタスクで印象的な結果を示している。
・しかし、医療画像セグメンテーション（MIS）は、複雑なモダリティ、微細な解剖学的構造、不確定な複雑な物体境界、幅広い物体スケールのため、より困難である。それに対して、ゼロショットで効率的なMISは、注釈の時間を短縮し、医療画像分析の発展を促進するのに役立つ。
・したがって、SAMは潜在的なツールであり、大規模な医療セグメンテーションデータセットでのパフォーマンスをさらに検証する必要がある。
・52のオープンソースのデータセットを収集し、16のモダリティ、68のオブジェクト、553Kのスライスを含む大規模な医療セグメンテーションデータセットを構築した。
・COSMOS 553Kデータセットで異なるSAMのテスト戦略を包括的に分析した結果、手動のヒント（ポイントやボックスなど）を使用した場合、SAMは医療画像の物体認識においてより優れたパフォーマンスを示し、すべてのモードと比較してプロンプトモードでのパフォーマンスがより良いことが確認された。
・さらに、SAMは特定のオブジェクトやモダリティでは卓越したパフォーマンスを示すが、他の状況では不完全または完全に失敗することがある。
・最後に、異なる要因（フーリエベースの境界の複雑さやセグメンテーションされたオブジェクトのサイズなど）がSAMのセグメンテーションパフォーマンスに及ぼす影響を分析した。広範な実験により、SAMのゼロショットセグメンテーション能力は、MISへの直接的な適用を保証するには不十分であることが確認された。

要約(オリジナル)

The Segment Anything Model (SAM) is the first foundation model for general image segmentation. It designed a novel promotable segmentation task, ensuring zero-shot image segmentation using the pre-trained model via two main modes including automatic everything and manual prompt. SAM has achieved impressive results on various natural image segmentation tasks. However, medical image segmentation (MIS) is more challenging due to the complex modalities, fine anatomical structures, uncertain and complex object boundaries, and wide-range object scales. Meanwhile, zero-shot and efficient MIS can well reduce the annotation time and boost the development of medical image analysis. Hence, SAM seems to be a potential tool and its performance on large medical datasets should be further validated. We collected and sorted 52 open-source datasets, and built a large medical segmentation dataset with 16 modalities, 68 objects, and 553K slices. We conducted a comprehensive analysis of different SAM testing strategies on the so-called COSMOS 553K dataset. Extensive experiments validate that SAM performs better with manual hints like points and boxes for object perception in medical images, leading to better performance in prompt mode compared to everything mode. Additionally, SAM shows remarkable performance in some specific objects and modalities, but is imperfect or even totally fails in other situations. Finally, we analyze the influence of different factors (e.g., the Fourier-based boundary complexity and size of the segmented objects) on SAM’s segmentation performance. Extensive experiments validate that SAM’s zero-shot segmentation capability is not sufficient to ensure its direct application to the MIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI