SDLFormer: A Sparse and Dense Locality-enhanced Transformer for Accelerated MR Image Reconstruction

要約

トランスフォーマーは、空間領域で非局所領域の関係を学習できるため、畳み込みニューラル ネットワークの実行可能な代替手段として浮上しました。
トランスフォーマーのセルフアテンション メカニズムにより、トランスフォーマーは画像内の長距離依存関係をキャプチャできるようになります。これは、アンダーサンプリングの効果が画像領域内で非局所的であるため、MRI 画像再構成の高速化に望ましい可能性があります。
ウィンドウベースの変換器は、その計算効率にもかかわらず、依存関係が画像ウィ​​ンドウの範囲内に限定されるため、受容野が制限されるという問題があります。
我々は、MRI画像再構成を加速するために拡張注意メカニズムと畳み込みを統合したウィンドウベースの変換ネットワークを提案します。
提案されたネットワークは、拡張された密集した近傍アテンション変換器で構成され、遠くの近傍ピクセルの関係を強化し、変換器モジュール内に深さ方向の畳み込みを導入して、MRI画像再構成を加速するための低レベルの平行移動不変特徴を学習します。
提案されたモデルは自己教師ありの方法でトレーニングされます。
私たちは、k 空間分割に基づく自己教師あり学習で、4 倍および 5 倍のアンダーサンプリングを使用して、コロナル PD、コロナル PDFS、軸方向 T2 コントラストのマルチコイル MRI 加速に関する広範な実験を実行します。
私たちの方法を他の再構成アーキテクチャおよび並列ドメインの自己教師あり学習ベースラインと比較します。
結果は、提案されたモデルが、(i) 他のアーキテクチャと比較して、平均で PSNR で約 1.40 dB、SSIM で約 0.028 の改善マージンを示す、(ii) 並列ドメイン自己教師あり学習に対して、PSNR で約 1.44 dB、SSIM で約 0.029 の改善マージンを示すことを示しています。
コードは https://github.com/rahul-gs-16/sdlformer.git で入手できます。

要約(オリジナル)

Transformers have emerged as viable alternatives to convolutional neural networks owing to their ability to learn non-local region relationships in the spatial domain. The self-attention mechanism of the transformer enables transformers to capture long-range dependencies in the images, which might be desirable for accelerated MRI image reconstruction as the effect of undersampling is non-local in the image domain. Despite its computational efficiency, the window-based transformers suffer from restricted receptive fields as the dependencies are limited to within the scope of the image windows. We propose a window-based transformer network that integrates dilated attention mechanism and convolution for accelerated MRI image reconstruction. The proposed network consists of dilated and dense neighborhood attention transformers to enhance the distant neighborhood pixel relationship and introduce depth-wise convolutions within the transformer module to learn low-level translation invariant features for accelerated MRI image reconstruction. The proposed model is trained in a self-supervised manner. We perform extensive experiments for multi-coil MRI acceleration for coronal PD, coronal PDFS and axial T2 contrasts with 4x and 5x under-sampling in self-supervised learning based on k-space splitting. We compare our method against other reconstruction architectures and the parallel domain self-supervised learning baseline. Results show that the proposed model exhibits improvement margins of (i) around 1.40 dB in PSNR and around 0.028 in SSIM on average over other architectures (ii) around 1.44 dB in PSNR and around 0.029 in SSIM over parallel domain self-supervised learning. The code is available at https://github.com/rahul-gs-16/sdlformer.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google