Segment anything model 2: an application to 2D and 3D medical images

要約

Segment Anything Model (SAM) は、プロンプトが与えられた画像内のさまざまなオブジェクトをセグメント化する機能により、大きな注目を集めています。
最近開発された SAM 2 は、この機能をビデオ入力にも拡張しました。
これにより、医療画像分野の基本的なタスクの 1 つである 3D 画像に SAM を適用する機会が開かれます。
この論文では、コンピュータ断層撮影 (CT)、磁気共鳴画像法 (MRI)、陽電子放射断層撮影 (
PET）のほか、X 線や超音波などの 2D モダリティも利用できます。
SAM 2 の 2 つの評価パイプラインが考慮されます: (1) マルチフレーム 3D セグメンテーション。ボリュームから選択された 1 つまたは複数のスライスにプロンプ​​トが提供されます。(2) シングルフレーム 2D セグメンテーション。プロンプトはボリュームから選択されます。
各スライス。
前者は 3D モダリティにのみ適用され、後者は 2D モダリティと 3D モダリティの両方に適用されます。
私たちの結果は、SAM 2 がシングルフレーム 2D セグメンテーションでは SAM と同様のパフォーマンスを示し、マルチフレーム 3D セグメンテーションではアノテーションを付けるスライスの選択、伝播の方向、伝播中に利用される予測に応じて変動するパフォーマンスを示すことを示しています。
等

要約(オリジナル)

Segment Anything Model (SAM) has gained significant attention because of its ability to segment varous objects in images given a prompt. The recently developed SAM 2 has extended this ability to video inputs. This opens an opportunity to apply SAM to 3D images, one of the fundamental tasks in the medical imaging field. In this paper, we extensively evaluate SAM 2’s ability to segment both 2D and 3D medical images by first collecting 18 medical imaging datasets, including common 3D modalities such as computed tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET) as well as 2D modalities such as X-ray and ultrasound. Two evaluation pipelines of SAM 2 are considered: (1) multi-frame 3D segmentation, where prompts are provided to one or multiple slice(s) selected from the volume, and (2) single-frame 2D segmentation, where prompts are provided to each slice. The former is only applicable to 3D modalities, while the latter applies to both 2D and 3D modalities. Our results show that SAM 2 exhibits similar performance as SAM under single-frame 2D segmentation, and has variable performance under multi-frame 3D segmentation depending on the choices of slices to annotate, the direction of the propagation, the predictions utilized during the propagation, etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google