AAD-DCE: An Aggregated Multimodal Attention Mechanism for Early and Late Dynamic Contrast Enhanced Prostate MRI Synthesis

要約

動的造影MRI（DCE-MRI）は、異常病変における組織灌流の詳細な可視化と同定、および生検のための放射線学的示唆に重要な役割を果たす医用画像技術である。しかし、DCE-MRIはガドリニウムベースの（Gad）造影剤の投与を伴い、これは体内毒性のリスクを伴う。DCE-MRI画像を合成するこれまでのディープラーニングアプローチは、関心解剖学内の局所灌流情報に焦点を当てない単峰性の非造影または低線量造影MRI画像を採用している。我々はAAD-DCEを提案する。AAD-DCEは生成的逆数ネットワーク（GAN）であり、大局的弁別器と局所的弁別器からなる集約的注意弁別器モジュールを備えている。この識別器は、早期および後期反応のDCE-MRI画像を合成するためにジェネレータを駆動するための空間埋め込み注意マップを提供する。われわれの方法は、画像合成にT2重み付け（T2W）、見かけの拡散係数（ADC）、T1プレコントラストといったマルチモーダル入力を用いる。ProstateXデータセットの広範な比較とアブレーション研究により、我々のモデルは(i)様々なジェネレータベンチマークに依存せず、(ii)早期反応では+0.64 dB PSNR、+0.0518 SSIM、-0.015 MAE、後期反応では+0.1 dB PSNR、+0.0424 SSIM、-0.021 MAEという改善マージンで、他のDCE-MRI合成アプローチを上回ることが示され、(ii)注意のアンサンブルの重要性が強調された。我々のコードはhttps://github.com/bhartidivya/AAD-DCE。

要約(オリジナル)

Dynamic Contrast-Enhanced Magnetic Resonance Imaging (DCE-MRI) is a medical imaging technique that plays a crucial role in the detailed visualization and identification of tissue perfusion in abnormal lesions and radiological suggestions for biopsy. However, DCE-MRI involves the administration of a Gadolinium based (Gad) contrast agent, which is associated with a risk of toxicity in the body. Previous deep learning approaches that synthesize DCE-MR images employ unimodal non-contrast or low-dose contrast MRI images lacking focus on the local perfusion information within the anatomy of interest. We propose AAD-DCE, a generative adversarial network (GAN) with an aggregated attention discriminator module consisting of global and local discriminators. The discriminators provide a spatial embedded attention map to drive the generator to synthesize early and late response DCE-MRI images. Our method employs multimodal inputs – T2 weighted (T2W), Apparent Diffusion Coefficient (ADC), and T1 pre-contrast for image synthesis. Extensive comparative and ablation studies on the ProstateX dataset show that our model (i) is agnostic to various generator benchmarks and (ii) outperforms other DCE-MRI synthesis approaches with improvement margins of +0.64 dB PSNR, +0.0518 SSIM, -0.015 MAE for early response and +0.1 dB PSNR, +0.0424 SSIM, -0.021 MAE for late response, and (ii) emphasize the importance of attention ensembling. Our code is available at https://github.com/bhartidivya/AAD-DCE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL