CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis

要約

MRI合成は、臨床診療におけるMRIモダリティの欠落の課題を軽減することを約束します。
拡散モデルは、複雑で可変的なデータ分布をモデル化することにより、画像合成の効果的な手法として登場しました。
ただし、ほとんどの拡散ベースの MRI 合成モデルは、単一のモダリティを使用しています。
それらは元の画像ドメインで動作するため、メモリを集中的に使用し、マルチモーダル合成にはあまり適していません。
さらに、MRI で解剖学的構造を保存できないことがよくあります。
さらに、マルチ モーダル MRI 入力からの複数の条件のバランスを取ることは、マルチ モーダル合成にとって重要です。
ここでは、最初の拡散ベースのマルチモダリティ MRI 合成モデル、つまり条件付き潜在拡散モデル (CoLa-Diff) を提案します。
メモリ消費を削減するために、CoLa-Diff は潜在空間で動作するように設計されています。
潜在空間で起こりうる圧縮とノイズを解決するために、新しいネットワークアーキテクチャ、たとえば同様の協調フィルタリングを提案します。
解剖学的構造をよりよく維持するために、拡散プロセスをガイドする密度分布の優先順位として脳領域マスクが導入されます。
さらに、マルチモーダル情報を効果的に使用するための自動重み適応を提示します。
私たちの実験は、CoLa-Diff が他の最先端の MRI 合成方法よりも優れていることを示しており、マルチモーダル MRI 合成の効果的なツールとして役立つことを約束しています。

要約(オリジナル)

MRI synthesis promises to mitigate the challenge of missing MRI modality in clinical practice. Diffusion model has emerged as an effective technique for image synthesis by modelling complex and variable data distributions. However, most diffusion-based MRI synthesis models are using a single modality. As they operate in the original image domain, they are memory-intensive and less feasible for multi-modal synthesis. Moreover, they often fail to preserve the anatomical structure in MRI. Further, balancing the multiple conditions from multi-modal MRI inputs is crucial for multi-modal synthesis. Here, we propose the first diffusion-based multi-modality MRI synthesis model, namely Conditioned Latent Diffusion Model (CoLa-Diff). To reduce memory consumption, we design CoLa-Diff to operate in the latent space. We propose a novel network architecture, e.g., similar cooperative filtering, to solve the possible compression and noise in latent space. To better maintain the anatomical structure, brain region masks are introduced as the priors of density distributions to guide diffusion process. We further present auto-weight adaptation to employ multi-modal information effectively. Our experiments demonstrate that CoLa-Diff outperforms other state-of-the-art MRI synthesis methods, promising to serve as an effective tool for multi-modal MRI synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google