A Deep Learning Approach Using Masked Image Modeling for Reconstruction of Undersampled K-spaces

要約

磁気共鳴画像法 (MRI) スキャンは、患者が限られた空間で長時間じっとしているため、時間がかかり、不安定です。
スキャン時間を短縮するために、一部の専門家はアンダーサンプリングされた k 空間で実験を行い、ディープ ラーニングを使用して完全にサンプリングされた結果を予測しようとしました。
これらの調査では、1 時間以上かかるスキャンを 20 ～ 30 分も節約できることが報告されています。
ただし、これらの研究のいずれも、マスクされた画像モデリング (MIM) を使用して MRI k 空間の欠落部分を予測する可能性を調査していません。
この研究では、再構成された 11161 の MRI と、Facebook の fastmri データセットからの膝 MRI 画像の k 空間を利用しています。
これは、ベースライン シフト ウィンドウ (Swin) とビジョン トランスフォーマー アーキテクチャを使用して、既存のモデルの修正バージョンをテストします。ビジョン トランスフォーマー アーキテクチャは、アンダーサンプリングされた k 空間で MIM を使用して、完全な k 空間を予測し、結果として完全な MRI 画像を予測します。
変更は pytorch および numpy ライブラリを使用して行われ、github リポジトリに公開されました。
モデルが k 空間画像を再構築した後、基本的なフーリエ変換を適用して実際の MRI 画像を決定しました。
モデルが定常状態に達すると、ハイパーパラメーターを使用した実験が、再構成された画像の正確な精度を達成するのに役立ちました。
モデルは、L1 損失、勾配の正規化、および構造類似性の値によって評価されました。
このモデルは、トレーニング終了後、L1 損失値の平均が 0.01 未満、勾配正規化値が 0.1 未満の再構成画像を生成しました。
再構築された k 空間は、完全にサンプリングされた k 空間を使用したトレーニングと検証の両方で 99% を超える構造的類似性の値をもたらしましたが、検証損失は 0.01 未満に継続的に減少しました。
これらのデータは、モデルの再構成された画像が元の完全にサンプリングされた k 空間と非常によく一致することを示しているため、アルゴリズムが MRI 再構成に機能するという考えを強く支持しています。

要約(オリジナル)

Magnetic Resonance Imaging (MRI) scans are time consuming and precarious, since the patients remain still in a confined space for extended periods of time. To reduce scanning time, some experts have experimented with undersampled k spaces, trying to use deep learning to predict the fully sampled result. These studies report that as many as 20 to 30 minutes could be saved off a scan that takes an hour or more. However, none of these studies have explored the possibility of using masked image modeling (MIM) to predict the missing parts of MRI k spaces. This study makes use of 11161 reconstructed MRI and k spaces of knee MRI images from Facebook’s fastmri dataset. This tests a modified version of an existing model using baseline shifted window (Swin) and vision transformer architectures that makes use of MIM on undersampled k spaces to predict the full k space and consequently the full MRI image. Modifications were made using pytorch and numpy libraries, and were published to a github repository. After the model reconstructed the k space images, the basic Fourier transform was applied to determine the actual MRI image. Once the model reached a steady state, experimentation with hyperparameters helped to achieve pinpoint accuracy for the reconstructed images. The model was evaluated through L1 loss, gradient normalization, and structural similarity values. The model produced reconstructed images with L1 loss values averaging to <0.01 and gradient normalization values <0.1 after training finished. The reconstructed k spaces yielded structural similarity values of over 99% for both training and validation with the fully sampled k spaces, while validation loss continually decreased under 0.01. These data strongly support the idea that the algorithm works for MRI reconstruction, as they indicate the model's reconstructed image aligns extremely well with the original, fully sampled k space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google