Segment anything model 2: an application to 2D and 3D medical images

要約

Segment Anything Model (SAM) は、プロンプトが与えられると画像内のさまざまなオブジェクトをセグメント化できるため、大きな注目を集めています。
最近開発された SAM 2 は、この機能をビデオ入力にも拡張しました。
これにより、医療画像分野の基本的なタスクの 1 つである 3D 画像に SAM を適用する機会が開かれます。
この論文では、まず手術ビデオ、コンピュータ断層撮影 (CT)、磁気共鳴画像法 (MRI)、ポジトロンなどの一般的な 3D モダリティを含む 21 の医療画像データセットを収集することにより、2D と 3D の両方の医療画像をセグメント化する SAM 2 の機能を広範囲に評価します。
放射断層撮影法 (PET) だけでなく、X 線や超音波などの 2D モダリティも利用できます。
SAM 2 の 2 つの評価設定が考慮されます。(1) マルチフレーム 3D セグメンテーション。ボリュームから選択された 1 つまたは複数のスライスにプロンプ​​トが提供されます。(2) シングルフレーム 2D セグメンテーション。プロンプトはボリュームから選択されます。
各スライス。
前者はビデオと 3D モダリティにのみ適用され、後者はすべてのデータセットに適用されます。
私たちの結果は、SAM 2 がシングルフレーム 2D セグメンテーションでは SAM と同様のパフォーマンスを示し、マルチフレーム 3D セグメンテーションではアノテーションを付けるスライスの選択、伝播の方向、伝播中に利用される予測に応じて変動するパフォーマンスを示すことを示しています。
私たちは、私たちの研究が医療分野における SAM 2 の動作の理解を深め、SAM 2 をこの領域に適応させる将来の作業の方向性を提供すると信じています。
コードは https://github.com/mazurowski-lab/segment-anything2-medical-evaluation で入手できます。

要約(オリジナル)

Segment Anything Model (SAM) has gained significant attention because of its ability to segment various objects in images given a prompt. The recently developed SAM 2 has extended this ability to video inputs. This opens an opportunity to apply SAM to 3D images, one of the fundamental tasks in the medical imaging field. In this paper, we extensively evaluate SAM 2’s ability to segment both 2D and 3D medical images by first collecting 21 medical imaging datasets, including surgical videos, common 3D modalities such as computed tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET) as well as 2D modalities such as X-ray and ultrasound. Two evaluation settings of SAM 2 are considered: (1) multi-frame 3D segmentation, where prompts are provided to one or multiple slice(s) selected from the volume, and (2) single-frame 2D segmentation, where prompts are provided to each slice. The former only applies to videos and 3D modalities, while the latter applies to all datasets. Our results show that SAM 2 exhibits similar performance as SAM under single-frame 2D segmentation, and has variable performance under multi-frame 3D segmentation depending on the choices of slices to annotate, the direction of the propagation, the predictions utilized during the propagation, etc. We believe our work enhances the understanding of SAM 2’s behavior in the medical field and provides directions for future work in adapting SAM 2 to this domain. Our code is available at: https://github.com/mazurowski-lab/segment-anything2-medical-evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google