How Segment Anything Model (SAM) Boost Medical Image Segmentation: A Survey

要約

プロンプトの柔軟性により、基礎モデルは自然言語処理と画像生成の分野で有力な存在となっています。
最近のセグメント エニシング モデル (SAM) の導入により、プロンプト駆動型のパラダイムが画像セグメンテーションの領域に入り、これまでに知られていないさまざまな機能がもたらされました。
ただし、自然画像と医療画像には大きな違いがあるため、医療画像のセグメンテーションに適用できるかどうかはまだ不明です。
この研究では、経験的ベンチマークと方法論的適応の両方を含む、SAM の成功を医用画像セグメンテーション タスクに拡張するための最近の取り組みを要約し、医用画像セグメンテーションにおける SAM の潜在的な将来の方向性について議論します。
SAM を医用画像セグメンテーションに直接適用しても、マルチモーダルおよびマルチターゲットの医療データセットでは満足のいくパフォーマンスを得ることができませんが、医用画像解析の基礎モデルを開発する将来の研究の指針となる多くの洞察が得られます。
また、このトピックに関する研究を促進するために、継続的に更新される論文リストとオープンソース プロジェクトの概要を https://github.com/YichiZhang98/SAM4MIS に設置しました。

要約(オリジナル)

Due to the flexibility of prompting, foundation models have become the dominant force in the domains of natural language processing and image generation. With the recent introduction of the Segment Anything Model (SAM), the prompt-driven paradigm has entered the realm of image segmentation, bringing with a range of previously unexplored capabilities. However, it remains unclear whether it can be applicable to medical image segmentation due to the significant differences between natural images and medical images. In this work, we summarize recent efforts to extend the success of SAM to medical image segmentation tasks, including both empirical benchmarking and methodological adaptations, and discuss potential future directions for SAM in medical image segmentation. Although directly applying SAM to medical image segmentation cannot obtain satisfying performance on multi-modal and multi-target medical datasets, many insights are drawn to guide future research to develop foundation models for medical image analysis. We also set up a continuously updated paper list and open-source project summary to boost the research on this topic at https://github.com/YichiZhang98/SAM4MIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google