Multi-modal Contrastive Learning for Tumor-specific Missing Modality Synthesis

要約

マルチモーダル磁気共鳴画像（MRI）は、脳の解剖学と病理に関する補完的な情報を提供するために不可欠であり、より正確な診断につながります。
ただし、臨床環境で高品質のマルチモーダルMRIを取得することは、時間の制約、高コスト、患者運動のアーティファクトなどの要因のために困難です。
この困難を克服するために、利用可能なソースのモダリティ画像を失ったターゲットモダリティイメージを合成できる生成モデルを開発することに関心が高まっています。
したがって、マルチモーダルのコントラスト学習を重要な腫瘍領域に焦点を当てることを統合するMRIを失ったMRIの生成モデルを設計します。
具体的には、複数のソースモダリティに合わせて調整されたマルチモーダルコントラスト学習を統合し、対照学習プロセス中にエントロピーに基づいて機能を選択することにより、その効果を高めます。
さらに、当社のネットワークは、欠落しているターゲットモダリティ画像を生成するだけでなく、セグメンテーションの出力を同時に予測します。
このアプローチは、腫瘍領域を正確に生成する発電機の能力を改善し、最終的にダウンストリームセグメンテーションタスクのパフォーマンスを向上させます。
コントラスト、セグメンテーション、および追加の自己表現損失の組み合わせを活用することにより、モデルはターゲット固有の情報を効果的に反映し、高品質のターゲット画像を生成します。
その結果、Brain MR Image Synthesis Challengeの結果は、提案されたモデルが欠落しているモダリティの生成に優れていることを示しています。

要約(オリジナル)

Multi-modal magnetic resonance imaging (MRI) is essential for providing complementary information about brain anatomy and pathology, leading to more accurate diagnoses. However, obtaining high-quality multi-modal MRI in a clinical setting is difficult due to factors such as time constraints, high costs, and patient movement artifacts. To overcome this difficulty, there is increasing interest in developing generative models that can synthesize missing target modality images from the available source ones. Therefore, we design a generative model for missing MRI that integrates multi-modal contrastive learning with a focus on critical tumor regions. Specifically, we integrate multi-modal contrastive learning, tailored for multiple source modalities, and enhance its effectiveness by selecting features based on entropy during the contrastive learning process. Additionally, our network not only generates the missing target modality images but also predicts segmentation outputs, simultaneously. This approach improves the generator’s capability to precisely generate tumor regions, ultimately improving performance in downstream segmentation tasks. By leveraging a combination of contrastive, segmentation, and additional self-representation losses, our model effectively reflects target-specific information and generate high-quality target images. Consequently, our results in the Brain MR Image Synthesis challenge demonstrate that the proposed model excelled in generating the missing modality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google