Spatial and Modal Optimal Transport for Fast Cross-Modal MRI Reconstruction

要約

マルチモーダル磁気共鳴画像法 (MRI) は、臨床医学における包括的な疾患診断において重要な役割を果たしています。
ただし、T2 強調画像 (T2WI) などの特定のモダリティの取得には時間がかかり、モーション アーチファクトが発生する傾向があります。
これは、その後のマルチモーダル画像解析に悪影響を及ぼします。
この問題に対処するために、T2WI の取得を促進する補助モダリティとして T1 強調画像 (T1WI) を利用するエンドツーエンドの深層学習フレームワークを提案します。
画像の前処理は位置ずれを軽減できますが、パラメータの選択が不適切だと前処理に悪影響が生じるため、反復的な実験と調整が必要になります。
この不足を克服するために、最適トランスポート (OT) を採用して T1WI を整列させ、クロスモーダル合成を実行することで T2WI を合成し、空間的位置ずれの影響を効果的に軽減します。
さらに、最終結果を最適化するために、再構成タスクとクロスモーダル合成タスクの間に交互反復フレームワークを採用します。
次に、反復が増加するにつれて、再構成された T2WI と合成 T2WI が T2 画像多様体上で近づくことを証明し、さらに、改善された再構成結果が合成プロセスを強化し、強化された合成結果が再構築プロセスを改善することを示します。
最後に、FastMRI と内部データセットからの実験結果は、私たちの方法の有効性を確認し、低いサンプリング レートでも画像再構成の品質が大幅に向上することを示しています。

要約(オリジナル)

Multi-modal magnetic resonance imaging (MRI) plays a crucial role in comprehensive disease diagnosis in clinical medicine. However, acquiring certain modalities, such as T2-weighted images (T2WIs), is time-consuming and prone to be with motion artifacts. It negatively impacts subsequent multi-modal image analysis. To address this issue, we propose an end-to-end deep learning framework that utilizes T1-weighted images (T1WIs) as auxiliary modalities to expedite T2WIs’ acquisitions. While image pre-processing is capable of mitigating misalignment, improper parameter selection leads to adverse pre-processing effects, requiring iterative experimentation and adjustment. To overcome this shortage, we employ Optimal Transport (OT) to synthesize T2WIs by aligning T1WIs and performing cross-modal synthesis, effectively mitigating spatial misalignment effects. Furthermore, we adopt an alternating iteration framework between the reconstruction task and the cross-modal synthesis task to optimize the final results. Then, we prove that the reconstructed T2WIs and the synthetic T2WIs become closer on the T2 image manifold with iterations increasing, and further illustrate that the improved reconstruction result enhances the synthesis process, whereas the enhanced synthesis result improves the reconstruction process. Finally, experimental results from FastMRI and internal datasets confirm the effectiveness of our method, demonstrating significant improvements in image reconstruction quality even at low sampling rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google