FCaS: Fine-grained Cardiac Image Synthesis based on 3D Template Conditional Diffusion Model

要約

セマンティックな画像生成を通じて医療画像データの希少性を解決することは、近年大きな注目を集めています。
ただし、既存の方法は、主に全球体または大量の構造の生成に焦点を当てており、細粒構造を持つ臓器の有効性が限られていることを示しています。
厳しいトポロジーの一貫性、壊れやすい冠動脈の特徴、および心臓イメージングにおける複雑な3D形態学的不均一性のため、心臓の細粒の解剖学的詳細を正確に再構築することは大きな課題です。
この問題に対処するために、このホワイトペーパーでは、3Dテンプレート条件拡散モデルで確立された、細粒の心臓画像合成（FCAS）フレームワークを提案します。
FCASは、テンプレートのガイダンスを通じてターゲット画像の微細なトポロジカル構造情報を提供する双方向メカニズムを通じて、テンプレート誘導条件拡散モデル（TCDM）を使用して、正確な心臓構造生成を達成します。
一方、生成プロセスにおける高品質で多様な参照マスクの希少性を軽減するために、変形可能なマスク生成モジュール（MGM）を設計します。
さらに、不正確な合成画像によって引き起こされる混乱を緩和するために、ダウンストリームセグメンテーションタスクの事前トレーニングを促進するための自信を得る適応学習（CAL）戦略を提案します。
具体的には、Skip-Sampling分散（SSV）推定を導入して信頼マップを取得します。このマップは、その後、下流タスクでのトレーニング前のトレーニングを修正するために採用されます。
実験結果は、FCAから生成された画像がトポロジーの一貫性と視覚品質の最先端のパフォーマンスを達成し、下流のタスクも大幅に促進することを示しています。
コードは将来リリースされます。

要約(オリジナル)

Solving medical imaging data scarcity through semantic image generation has attracted significant attention in recent years. However, existing methods primarily focus on generating whole-organ or large-tissue structures, showing limited effectiveness for organs with fine-grained structure. Due to stringent topological consistency, fragile coronary features, and complex 3D morphological heterogeneity in cardiac imaging, accurately reconstructing fine-grained anatomical details of the heart remains a great challenge. To address this problem, in this paper, we propose the Fine-grained Cardiac image Synthesis(FCaS) framework, established on 3D template conditional diffusion model. FCaS achieves precise cardiac structure generation using Template-guided Conditional Diffusion Model (TCDM) through bidirectional mechanisms, which provides the fine-grained topological structure information of target image through the guidance of template. Meanwhile, we design a deformable Mask Generation Module (MGM) to mitigate the scarcity of high-quality and diverse reference mask in the generation process. Furthermore, to alleviate the confusion caused by imprecise synthetic images, we propose a Confidence-aware Adaptive Learning (CAL) strategy to facilitate the pre-training of downstream segmentation tasks. Specifically, we introduce the Skip-Sampling Variance (SSV) estimation to obtain confidence maps, which are subsequently employed to rectify the pre-training on downstream tasks. Experimental results demonstrate that images generated from FCaS achieves state-of-the-art performance in topological consistency and visual quality, which significantly facilitates the downstream tasks as well. Code will be released in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google