Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained Image Foundation Models

要約

データ取得の課題やラベルの可用性など、医用画像処理における一般的な問題に対処するには、自然画像ドメインから医用画像ドメインへの学習の転移が、信頼性の高いセグメンテーション結果を生成するための実行可能な戦略として機能します。
ただし、コントラストの不一致への対処、解剖学的変動の管理、3D セグメンテーション タスク用の 2D 事前トレーニング モデルの適応など、ドメイン間に存在するいくつかの障壁を打ち破る必要があります。
この論文では、単一点プロンプトのみを使用して、事前トレーニングされた 2D 画像基礎モデルからの知識を活用する、プロンプト駆動型 3D 医用画像セグメンテーション モデルである ProMISe を提案します。
特に、Segment Anything Model (SAM) の事前トレーニング済みビジョン トランスフォーマーを使用し、軽量アダプターを統合して、事前トレーニング済みの重みを更新せずに深度関連 (3D) 空間コンテキストを抽出します。
堅牢な結果を得るために、相補的なエンコーダを備えたハイブリッド ネットワークが設計され、正確な境界を達成するために境界を意識した損失が提案されています。
結腸腫瘍と膵臓腫瘍のセグメンテーションについて、それぞれ 2 つの公開データセットに基づいてモデルを評価します。
プロンプトエンジニアリングの有無にかかわらず、最先端のセグメンテーション手法と比較して、私たちの提案手法は優れたパフォーマンスを達成します。
コードは https://github.com/MedICL-VU/ProMISe で公開されています。

要約(オリジナル)

To address prevalent issues in medical imaging, such as data acquisition challenges and label availability, transfer learning from natural to medical image domains serves as a viable strategy to produce reliable segmentation results. However, several existing barriers between domains need to be broken down, including addressing contrast discrepancies, managing anatomical variability, and adapting 2D pretrained models for 3D segmentation tasks. In this paper, we propose ProMISe,a prompt-driven 3D medical image segmentation model using only a single point prompt to leverage knowledge from a pretrained 2D image foundation model. In particular, we use the pretrained vision transformer from the Segment Anything Model (SAM) and integrate lightweight adapters to extract depth-related (3D) spatial context without updating the pretrained weights. For robust results, a hybrid network with complementary encoders is designed, and a boundary-aware loss is proposed to achieve precise boundaries. We evaluate our model on two public datasets for colon and pancreas tumor segmentations, respectively. Compared to the state-of-the-art segmentation methods with and without prompt engineering, our proposed method achieves superior performance. The code is publicly available at https://github.com/MedICL-VU/ProMISe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google