MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model

要約

拡散確率モデル (DPM) は、最近、コンピューター ビジョンで最もホットなトピックの 1 つになっています。
Imagen、Latent Diffusion Models、Stable Diffusion などの画像生成アプリケーションは、コミュニティで広範な議論を引き起こした印象的な生成機能を示しています。
最近の多くの研究では、画像のブレ除去、超解像、異常検出など、他の多くの視覚タスクにも役立つことがわかりました。
DPM の成功に触発されて、MedSegDiff と名付けた一般的な医療画像セグメンテーション タスクに向けた最初の DPM ベースのモデルを提案します。
医用画像セグメンテーションのための DPM における段階的な地域的注意を強化するために、各サンプリング ステップの状態適応条件を確立する動的条件付きエンコーディングを提案します。
さらに、このプロセスにおける高周波ノイズ成分の悪影響を排除するために、Feature Frequency Parser (FF-Parser) を提案します。
異なる画像モダリティを使用した 3 つの医療セグメンテーション タスクで MedSegDiff を検証します。これは、眼底画像に対する眼杯のセグメンテーション、MRI 画像に対する脳腫瘍のセグメンテーション、超音波画像に対する甲状腺結節のセグメンテーションです。
実験結果は、MedSegDiff が最先端の (SOTA) 方式よりもパフォーマンスが大幅に優れていることを示しており、提案されたモデルの一般化と有効性が示されています。

要約(オリジナル)

Diffusion probabilistic model (DPM) recently becomes one of the hottest topic in computer vision. Its image generation application such as Imagen, Latent Diffusion Models and Stable Diffusion have shown impressive generation capabilities, which aroused extensive discussion in the community. Many recent studies also found it useful in many other vision tasks, like image deblurring, super-resolution and anomaly detection. Inspired by the success of DPM, we propose the first DPM based model toward general medical image segmentation tasks, which we named MedSegDiff. In order to enhance the step-wise regional attention in DPM for the medical image segmentation, we propose dynamic conditional encoding, which establishes the state-adaptive conditions for each sampling step. We further propose Feature Frequency Parser (FF-Parser), to eliminate the negative effect of high-frequency noise component in this process. We verify MedSegDiff on three medical segmentation tasks with different image modalities, which are optic cup segmentation over fundus images, brain tumor segmentation over MRI images and thyroid nodule segmentation over ultrasound images. The experimental results show that MedSegDiff outperforms state-of-the-art (SOTA) methods with considerable performance gap, indicating the generalization and effectiveness of the proposed model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google