AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation

要約

臨床現場では、多くの場合、複雑な取得プロトコル、厳格なプライバシー規制、または特定の臨床ニーズが原因で、完全なイメージングが常に実現可能であるとは限りません。
ただし、MR モダリティが欠落していると、脳腫瘍セグメンテーションなどのタスク、特に深層学習ベースのセグメンテーションにおいて重大な課題が生じます。これは、各モダリティが精度向上に不可欠な補完的な情報を提供するためです。
有望な解決策は欠落データ補完であり、利用可能なモダリティから存在しないモダリティが生成されます。
生成モデルはこの目的に広く使用されていますが、最先端のアプローチのほとんどは単一または二重ターゲットの翻訳に限定されており、さまざまな入力構成に基づいて欠落しているモダリティを生成する適応性に欠けています。
これに対処するために、任意の数の入力モダリティを処理し、欠落しているモダリティを生成できる新しい拡散ベースの生成モデルである適応型マルチモダリティ拡散ネットワーク (AMM-Diff) を提案します。
私たちは、完全な入力モダリティと選択された高周波フーリエ成分にわたる自己教師ありプレテキスト タスクを通じて統一された特徴表現を学習する画像周波数融合ネットワーク (IFFN) を設計しました。
提案された拡散モデルは、この表現を利用して、完全なモダリティの事前知識をカプセル化し、それを適応的再構成戦略と組み合わせて、欠落しているモダリティの補完を達成します。
BraTS 2021 データセットの実験結果は、私たちのアプローチの有効性を示しています。

要約(オリジナル)

In clinical practice, full imaging is not always feasible, often due to complex acquisition protocols, stringent privacy regulations, or specific clinical needs. However, missing MR modalities pose significant challenges for tasks like brain tumor segmentation, especially in deep learning-based segmentation, as each modality provides complementary information crucial for improving accuracy. A promising solution is missing data imputation, where absent modalities are generated from available ones. While generative models have been widely used for this purpose, most state-of-the-art approaches are limited to single or dual target translations, lacking the adaptability to generate missing modalities based on varying input configurations. To address this, we propose an Adaptive Multi-Modality Diffusion Network (AMM-Diff), a novel diffusion-based generative model capable of handling any number of input modalities and generating the missing ones. We designed an Image-Frequency Fusion Network (IFFN) that learns a unified feature representation through a self-supervised pretext task across the full input modalities and their selected high-frequency Fourier components. The proposed diffusion model leverages this representation, encapsulating prior knowledge of the complete modalities, and combines it with an adaptive reconstruction strategy to achieve missing modality completion. Experimental results on the BraTS 2021 dataset demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google