Computationally Efficient 3D MRI Reconstruction with Adaptive MLP

要約

2D MRI と比較して、3D MRI は優れた体積空間分解能と信号対雑音比を提供します。
ただし、3D MRI 画像を再構成することはさらに困難です。
現在の手法は主に、小さなカーネルを備えた畳み込みニューラル ネットワーク (CNN) に基づいていますが、画像サイズが大きく、GPU メモリの制約があるため、3D MRI 再構成に十分なフィッティング能力を得るためにスケールアップすることが困難です。
さらに、MRI 再構成はデコンボリューション問題であり、小さなコンボリューション カーネルを備えた CNN で捕捉するのが困難な長距離情報が必要です。
多層パーセプトロン (MLP) はこのような長距離情報をモデル化できますが、固定の入力サイズが必要です。
この論文では、3D MRI 再構成用に、低周波再構成用の小さなカーネルを備えた CNN モジュールと、高周波再構成を強化する大きなカーネルを備えた適応 MLP (dMLP) モジュールのハイブリッドである Recon3DMLP を提案しました。
さらに、dMLP が任意の画像サイズを受け入れ、FOV 全体からグローバル情報を抽出できるように、MRI 物理学に基づいた循環シフト操作を利用しました。
また、$>$50$\%$ メモリを削減できる、GPU メモリ効率の高いデータ忠実度モジュールも提案します。
高解像度 (HR) 3D MRI データセットで Recon3DMLP を他の CNN ベースのモデルと比較しました。
Recon3DMLP は HR 3D 再構成を改善し、同様の GPU メモリ消費量の下でいくつかの既存の CNN ベースのモデルよりも優れたパフォーマンスを示します。これは、Recon3DMLP が HR 3D MRI 再構成の実用的なソリューションであることを示しています。

要約(オリジナル)

Compared with 2D MRI, 3D MRI provides superior volumetric spatial resolution and signal-to-noise ratio. However, it is more challenging to reconstruct 3D MRI images. Current methods are mainly based on convolutional neural networks (CNN) with small kernels, which are difficult to scale up to have sufficient fitting power for 3D MRI reconstruction due to the large image size and GPU memory constraint. Furthermore, MRI reconstruction is a deconvolution problem, which demands long-distance information that is difficult to capture by CNNs with small convolution kernels. The multi-layer perceptron (MLP) can model such long-distance information, but it requires a fixed input size. In this paper, we proposed Recon3DMLP, a hybrid of CNN modules with small kernels for low-frequency reconstruction and adaptive MLP (dMLP) modules with large kernels to boost the high-frequency reconstruction, for 3D MRI reconstruction. We further utilized the circular shift operation based on MRI physics such that dMLP accepts arbitrary image size and can extract global information from the entire FOV. We also propose a GPU memory efficient data fidelity module that can reduce $>$50$\%$ memory. We compared Recon3DMLP with other CNN-based models on a high-resolution (HR) 3D MRI dataset. Recon3DMLP improves HR 3D reconstruction and outperforms several existing CNN-based models under similar GPU memory consumption, which demonstrates that Recon3DMLP is a practical solution for HR 3D MRI reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google