SAM-Med2D

要約

Segment Anything Model (SAM) は、自然な画像セグメンテーションにおける最先端の研究の進歩を表し、ポイントや境界ボックスなどの入力プロンプトで印象的な結果を達成します。
ただし、私たちの評価と最近の研究では、事前トレーニング済み SAM を医療画像のセグメンテーションに直接適用しても満足のいくパフォーマンスが得られないことが示されています。
この制限は主に、自然画像と医療画像の間の大きな領域のギャップによって生じます。
このギャップを埋めるために、医療 2D 画像への SAM の適用に関する最も包括的な研究である SAM-Med2D を紹介します。
具体的には、まずパブリックおよびプライベートのデータセットから約 460 万枚の画像と 1,970 万枚のマスクを収集および整理し、さまざまなモダリティやオブジェクトを含む大規模な医療画像セグメンテーション データセットを構築します。
次に、このデータセットの SAM を包括的に微調整し、SAM-Med2D に変換します。
インタラクティブなセグメンテーション アプローチとしてバウンディング ボックスまたはポイント プロンプトのみを採用する以前の方法とは異なり、バウンディング ボックス、ポイント、マスクを含むより包括的なプロンプトを通じて SAM を医療画像セグメンテーションに適応させます。
さらに、元の SAM のエンコーダーとデコーダーを微調整して、良好なパフォーマンスの SAM-Med2D を取得し、これまでで最も包括的な微調整戦略を実現しました。
最後に、さまざまなモダリティ、解剖学的構造、臓器にわたる医療画像セグメンテーションにおける SAM-Med2D のパフォーマンスを調査するために、包括的な評価と分析を実施しました。
同時に、MICCAI 2023 チャレンジの 9 つのデータセットに対する SAM-Med2D の一般化機能を検証しました。
全体として、私たちのアプローチは、SAM と比較して大幅に優れたパフォーマンスと汎化機能を実証しました。

要約(オリジナル)

The Segment Anything Model (SAM) represents a state-of-the-art research advancement in natural image segmentation, achieving impressive results with input prompts such as points and bounding boxes. However, our evaluation and recent research indicate that directly applying the pretrained SAM to medical image segmentation does not yield satisfactory performance. This limitation primarily arises from significant domain gap between natural images and medical images. To bridge this gap, we introduce SAM-Med2D, the most comprehensive studies on applying SAM to medical 2D images. Specifically, we first collect and curate approximately 4.6M images and 19.7M masks from public and private datasets, constructing a large-scale medical image segmentation dataset encompassing various modalities and objects. Then, we comprehensively fine-tune SAM on this dataset and turn it into SAM-Med2D. Unlike previous methods that only adopt bounding box or point prompts as interactive segmentation approach, we adapt SAM to medical image segmentation through more comprehensive prompts involving bounding boxes, points, and masks. We additionally fine-tune the encoder and decoder of the original SAM to obtain a well-performed SAM-Med2D, leading to the most comprehensive fine-tuning strategies to date. Finally, we conducted a comprehensive evaluation and analysis to investigate the performance of SAM-Med2D in medical image segmentation across various modalities, anatomical structures, and organs. Concurrently, we validated the generalization capability of SAM-Med2D on 9 datasets from MICCAI 2023 challenge. Overall, our approach demonstrated significantly superior performance and generalization capability compared to SAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google