Part-aware Personalized Segment Anything Model for Patient-Specific Segmentation

要約

医用画像を利用した患者に適応した治療などの精密医療では、(1) 患者ごとにばらつきが大きいこと、および (2) 各患者の注釈付きデータの利用が限られているため、画像セグメンテーション アルゴリズムに新たな課題が生じています。
この研究では、これらの課題に対処するためのデータ効率の高いセグメンテーション手法、つまり部分認識パーソナライズ セグメント エニシング モデル (P^2SAM) を提案します。
P^2SAM では、モデルの微調整を行わずに、ワンショットの患者固有のデータのみに基づいて、あらゆる新規患者にシームレスに適応できます。
ワンショット データの部品レベルの特徴に基づいて複数ポイント プロンプトを選択する、新しい部品認識プロンプト メカニズムを導入します。
選択されたプロンプトの堅牢性をさらに高めるために、異常値プロンプトを処理するための取得アプローチを提案します。
広範な実験により、P^2SAM は 2 つの患者固有のセグメンテーション設定内で平均 Dice スコアが +8.0% および +2.0% 向上し、さまざまなアプリケーション ドメインにわたって優れた汎用性 (たとえば、PerSeg ベンチマークで +6.4% mIoU) を示すことが実証されました。
コードは承認され次第リリースされます。

要約(オリジナル)

Precision medicine, such as patient-adaptive treatments utilizing medical images, poses new challenges for image segmentation algorithms due to (1) the large variability across different patients and (2) the limited availability of annotated data for each patient. In this work, we propose a data-efficient segmentation method to address these challenges, namely Part-aware Personalized Segment Anything Model (P^2SAM). Without any model fine-tuning, P^2SAM enables seamless adaptation to any new patients relying only on one-shot patient-specific data. We introduce a novel part-aware prompt mechanism to select multiple-point prompts based on part-level features of the one-shot data. To further promote the robustness of the selected prompt, we propose a retrieval approach to handle outlier prompts. Extensive experiments demonstrate that P^2SAM improves the performance by +8.0% and +2.0% mean Dice score within two patient-specific segmentation settings, and exhibits impressive generality across different application domains, e.g., +6.4% mIoU on the PerSeg benchmark. Code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google