DAMM-Diffusion: Learning Divergence-Aware Multi-Modal Diffusion Model for Nanoparticles Distribution Prediction

要約

ナノ粒子（NPS）分布の予測は、腫瘍の診断と治療に不可欠です。
最近の研究は、腫瘍微小環境（TME）の不均一性が腫瘍間のNPの分布に大きく影響することを示しています。
したがって、マルチモーダルTMEコンポーネントを使用してNPS分布を生成するための研究ホットスポットになりました。
ただし、マルチモーダルTMEコンポーネント間の分布の発散は、副作用を引き起こす可能性があります。つまり、最良のユニモーダルモデルは、ジョイント生成モデルを上回る可能性があります。
上記の問題に対処するために、\ textbf {d} avergence- \ textbf {a} ware \ textbf {m} ulti- \ textbf {m} odal \ textbf {diffusion}モデル（すなわち、\ textbf {damm-diffusion}）を提案します。
統一されたネットワーク。
詳細には、Uni-ModalブランチはU-NETアーキテクチャで構成されていますが、マルチモーダルブランチは、2つの新しい融合モジュール、つまりマルチモーダル融合モジュール（MMFM）と不確実性認識融合モジュール（UAFM）を導入することで拡張します。
具体的には、MMFMは複数のモダリティから機能を融合するように提案されていますが、UAFMモジュールは導入されて、クロスアテナント計算の不確実性マップを学習します。
各ブランチからの個々の予測の結果に続いて、Divergence-Aware Multi-Modal Predictor（DAMMP）モジュールが、マルチモーダルデータの不確実性マップとの一貫性を評価することを提案します。
腫瘍血管と細胞核のTME成分を考慮してNPS分布を予測し、実験結果は、DAMM拡散が比較方法よりも高い精度でNPの分布を生成できることを示しています。
マルチモーダル脳画像合成タスクに関する追加の結果は、提案された方法の有効性をさらに検証します。

要約(オリジナル)

The prediction of nanoparticles (NPs) distribution is crucial for the diagnosis and treatment of tumors. Recent studies indicate that the heterogeneity of tumor microenvironment (TME) highly affects the distribution of NPs across tumors. Hence, it has become a research hotspot to generate the NPs distribution by the aid of multi-modal TME components. However, the distribution divergence among multi-modal TME components may cause side effects i.e., the best uni-modal model may outperform the joint generative model. To address the above issues, we propose a \textbf{D}ivergence-\textbf{A}ware \textbf{M}ulti-\textbf{M}odal \textbf{Diffusion} model (i.e., \textbf{DAMM-Diffusion}) to adaptively generate the prediction results from uni-modal and multi-modal branches in a unified network. In detail, the uni-modal branch is composed of the U-Net architecture while the multi-modal branch extends it by introducing two novel fusion modules i.e., Multi-Modal Fusion Module (MMFM) and Uncertainty-Aware Fusion Module (UAFM). Specifically, the MMFM is proposed to fuse features from multiple modalities, while the UAFM module is introduced to learn the uncertainty map for cross-attention computation. Following the individual prediction results from each branch, the Divergence-Aware Multi-Modal Predictor (DAMMP) module is proposed to assess the consistency of multi-modal data with the uncertainty map, which determines whether the final prediction results come from multi-modal or uni-modal predictions. We predict the NPs distribution given the TME components of tumor vessels and cell nuclei, and the experimental results show that DAMM-Diffusion can generate the distribution of NPs with higher accuracy than the comparing methods. Additional results on the multi-modal brain image synthesis task further validate the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google