RadSAM: Segmenting 3D radiological images with a 2D promptable model

要約

医療画像セグメンテーションは、臨床ケアにおける重要で時間のかかるタスクであり、マスクの精度が非常に重要です。
セグメントAnything Model（SAM）は、視覚プロンプトとエディションに基づいたインタラクティブなインターフェイスを提供して初期セグメンテーションを改善するため、有望なアプローチを提供します。
このモデルには強力な一般化能力があり、事前定義されたクラスに依存せず、多様なオブジェクトに適応します。
ただし、自然な画像で事前に訓練されており、医療データを効果的に処理する能力がありません。
さらに、このモデルは2D画像用に構築されていますが、医療ドメイン全体はCTやMRIなどの3D画像に基づいています。
医療イメージングに対するSAMの最近の適応は2Dモデルに基づいているため、3Dオブジェクトをセグメント化するためにスライスごとに1つのプロンプトが必要であり、セグメンテーションプロセスを退屈にします。
また、編集などの重要な機能もありません。
このギャップを埋めるために、3Dオブジェクトを単一のプロンプトから2Dモデルでセグメント化する新しい方法であるRadsamを提案します。
実際には、ノイズの多いマスクを初期プロンプトとして使用して、ボックスとポイントの境界に加えて、2Dモデルをトレーニングします。
次に、この新しいプロンプトタイプを使用して、反復推論パイプラインを使用して、3Dマスクスライスごとのスライスを再構築します。
単一のプロンプトからCT画像の3Dオブジェクトをセグメント化するモデルの機能を評価し、モデルのドメイン外の転送およびエディション機能を評価するベンチマークを導入します。
AMOS腹部臓器セグメンテーションデータセットを使用して、このベンチマークに対する最先端モデルに対するアプローチの有効性を実証します。

要約(オリジナル)

Medical image segmentation is a crucial and time-consuming task in clinical care, where mask precision is extremely important. The Segment Anything Model (SAM) offers a promising approach, as it provides an interactive interface based on visual prompting and edition to refine an initial segmentation. This model has strong generalization capabilities, does not rely on predefined classes, and adapts to diverse objects; however, it is pre-trained on natural images and lacks the ability to process medical data effectively. In addition, this model is built for 2D images, whereas a whole medical domain is based on 3D images, such as CT and MRI. Recent adaptations of SAM for medical imaging are based on 2D models, thus requiring one prompt per slice to segment 3D objects, making the segmentation process tedious. They also lack important features such as editing. To bridge this gap, we propose RadSAM, a novel method for segmenting 3D objects with a 2D model from a single prompt. In practice, we train a 2D model using noisy masks as initial prompts, in addition to bounding boxes and points. We then use this novel prompt type with an iterative inference pipeline to reconstruct the 3D mask slice-by-slice. We introduce a benchmark to evaluate the model’s ability to segment 3D objects in CT images from a single prompt and evaluate the models’ out-of-domain transfer and edition capabilities. We demonstrate the effectiveness of our approach against state-of-the-art models on this benchmark using the AMOS abdominal organ segmentation dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google