Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model

要約

Segment Anything Model (SAM) は、コンピューター ビジョン タスク用の汎用セグメンテーション用に最近開発された大規模なモデルです。
SAM は、10 億を超えるマスクを持つ 1,100 万枚の画像を使用してトレーニングされており、自然シーンの画像内の幅広いオブジェクトのセグメンテーション結果を生成できます。
SAM は、セグメンテーション (画像を意味的に意味のある領域に分割すること) のための一般的な知覚モデルとして見ることができます。
したがって、このような大規模な基礎モデルを医療画像セグメンテーションにどのように利用するかが新たな研究目標となっています。
この論文では、SAM は医用画像データに対して高品質のセグメンテーションをすぐに提供するわけではありませんが、生成されたマスク、特徴、安定性スコアが、より優れた医用画像セグメンテーション モデルの構築とトレーニングに役立つことを示しています。
特に、SAM を使用して、一般的に使用される医療画像セグメンテーション モデル (U-Net など) の画像入力を拡張する方法を示します。
3 つのセグメンテーション タスクに関する実験により、提案した SAMAug 法の有効性が示されています。
コードは \url{https://github.com/yizhezhang2000/SAMAug} で入手できます。

要約(オリジナル)

The Segment Anything Model (SAM) is a recently developed large model for general-purpose segmentation for computer vision tasks. SAM was trained using 11 million images with over 1 billion masks and can produce segmentation results for a wide range of objects in natural scene images. SAM can be viewed as a general perception model for segmentation (partitioning images into semantically meaningful regions). Thus, how to utilize such a large foundation model for medical image segmentation is an emerging research target. This paper shows that although SAM does not immediately give high-quality segmentation for medical image data, its generated masks, features, and stability scores are useful for building and training better medical image segmentation models. In particular, we demonstrate how to use SAM to augment image input for commonly-used medical image segmentation models (e.g., U-Net). Experiments on three segmentation tasks show the effectiveness of our proposed SAMAug method. The code is available at \url{https://github.com/yizhezhang2000/SAMAug}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google