Stable Diffusion Segmentation for Biomedical Images with Single-step Reverse Process

要約

拡散モデルは、さまざまな生成タスクにわたってその有効性を実証しています。
ただし、これらのモデルを医療画像のセグメンテーションに適用すると、多大なリソースと時間の要件を含むいくつかの課題に直面します。
また、信頼性の高い予測を生成するには、複数ステップの逆プロセスと複数のサンプルも必要です。
これらの課題に対処するために、安定拡散 (SD) に基づいて構築された、SDSeg と呼ばれる最初の潜在拡散セグメンテーション モデルを導入します。
SDSeg には、単一ステップの逆プロセスを容易にする直接的な潜在推定戦略が組み込まれており、潜在融合連結を利用して複数のサンプルの必要性を排除します。
広範な実験により、SDSeg は、多様なイメージング モダリティを特徴とする 5 つのベンチマーク データセットで既存の最先端の手法を超えていることが示されています。
注目すべきことに、SDSeg は単独のリバース ステップとサンプルで安定した予測を生成でき、その名前が示すとおりモデルの安定性を象徴しています。
コードは https://github.com/lin-tianyu/Stable-Diffusion-Seg で入手できます。

要約(オリジナル)

Diffusion models have demonstrated their effectiveness across various generative tasks. However, when applied to medical image segmentation, these models encounter several challenges, including significant resource and time requirements. They also necessitate a multi-step reverse process and multiple samples to produce reliable predictions. To address these challenges, we introduce the first latent diffusion segmentation model, named SDSeg, built upon stable diffusion (SD). SDSeg incorporates a straightforward latent estimation strategy to facilitate a single-step reverse process and utilizes latent fusion concatenation to remove the necessity for multiple samples. Extensive experiments indicate that SDSeg surpasses existing state-of-the-art methods on five benchmark datasets featuring diverse imaging modalities. Remarkably, SDSeg is capable of generating stable predictions with a solitary reverse step and sample, epitomizing the model’s stability as implied by its name. The code is available at https://github.com/lin-tianyu/Stable-Diffusion-Seg

arxiv情報

提供元, 利用サービス

arxiv.jp, Google