Advancing Generalizable Tumor Segmentation with Anomaly-Aware Open-Vocabulary Attention Maps and Frozen Foundation Diffusion Models

要約

我々は、多様な解剖学的領域にわたるゼロショット腫瘍セグメンテーションのための単一のモデルを訓練することを目的とし、一般化可能な腫瘍セグメンテーションを探求する。既存の手法は、セグメンテーションの質、スケーラビリティ、適用可能な画像モダリティの範囲に関する制限に直面している。本論文では、DiffuGTSと名付けられた新しいフレームワークを導入することで、腫瘍セグメンテーションのための非常に効率的なゼロショット学習法として、凍結医療基盤拡散モデル内の内部表現の可能性を明らかにする。DiffuGTSは、事前に定義された学習カテゴリーリストに制限されることなく、汎化可能な異常セグメンテーションを可能にするために、テキストプロンプトに基づいて異常を認識するオープンボキャブラリーアテンションマップを作成する。異常セグメンテーションマスクの更なる改善と改良のために、DiffuGTS は拡散モデルを活用し、潜在空間インペインティングにより病的領域を高品質な擬似健康領域に変換し、画素レベルと特徴レベルの新しい残差学習アプローチを適用することで、品質と汎化性が大幅に向上したセグメンテーションマスクを実現する。4つのデータセットと7つの腫瘍カテゴリーを用いた包括的な実験により、本手法の優れた性能が実証され、複数のゼロショット設定において現在の最先端モデルを凌駕している。コードはhttps://github.com/Yankai96/DiffuGTS。

要約(オリジナル)

We explore Generalizable Tumor Segmentation, aiming to train a single model for zero-shot tumor segmentation across diverse anatomical regions. Existing methods face limitations related to segmentation quality, scalability, and the range of applicable imaging modalities. In this paper, we uncover the potential of the internal representations within frozen medical foundation diffusion models as highly efficient zero-shot learners for tumor segmentation by introducing a novel framework named DiffuGTS. DiffuGTS creates anomaly-aware open-vocabulary attention maps based on text prompts to enable generalizable anomaly segmentation without being restricted by a predefined training category list. To further improve and refine anomaly segmentation masks, DiffuGTS leverages the diffusion model, transforming pathological regions into high-quality pseudo-healthy counterparts through latent space inpainting, and applies a novel pixel-level and feature-level residual learning approach, resulting in segmentation masks with significantly enhanced quality and generalization. Comprehensive experiments on four datasets and seven tumor categories demonstrate the superior performance of our method, surpassing current state-of-the-art models across multiple zero-shot settings. Codes are available at https://github.com/Yankai96/DiffuGTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL