Deep Unfolding Network with Spatial Alignment for multi-modal MRI reconstruction

要約

マルチモーダル磁気共鳴画像法 (MRI) は補完的な診断情報を提供しますが、一部のモダリティはスキャン時間が長いため制限されます。
取得プロセス全体を高速化するには、高度にアンダーサンプリングされた k 空間データから 1 つのモダリティを、完全にサンプリングされた別の参照モダリティを使用して MRI 再構成することが効率的なソリューションです。
ただし、診療現場でよく見られるモダリティ間の不整合は、再構成の品質に悪影響を与える可能性があります。
モダリティ間の不整合を考慮した既存の深層学習ベースの手法は、パフォーマンスは向上していますが、依然として 2 つの主な共通の制限があります。(1) 空間アライメント タスクが再構成プロセスと適応的に統合されていないため、2 つのタスク間の相補性が不十分になります。
(2) 全体の枠組みの解釈可能性が弱い。
この論文では、空間アライメントタスクを再構成プロセスに適切に組み込むために、DUN-SAと呼ばれる空間アライメントを備えた新しいディープアンフォールディングネットワークを構築します。
具体的には、特別に設計されたクロスモーダル空間アライメント項を使用して、新しい関節アライメント再構成モデ​​ルを導出します。
モデルをクロスモーダル空間アライメントおよびマルチモーダル再構成タスクに緩和することにより、このモデルを代替的に解決するための効果的なアルゴリズムを提案します。
次に、提案されたアルゴリズムの反復ステップを展開し、対応するネットワーク モジュールを設計して、解釈可能性を備えた DUN-SA を構築します。
エンドツーエンドのトレーニングを通じて、再構成損失のみを使用して空間的不整合を効果的に補正し、ターゲット モダリティの再構成を改善する前に、段階的に調整された参照モダリティを利用してモダリティ間を提供します。
3 つの実際のデータセットに対する包括的な実験により、私たちの方法が最先端の方法と比較して優れた再構成パフォーマンスを示すことが実証されました。

要約(オリジナル)

Multi-modal Magnetic Resonance Imaging (MRI) offers complementary diagnostic information, but some modalities are limited by the long scanning time. To accelerate the whole acquisition process, MRI reconstruction of one modality from highly undersampled k-space data with another fully-sampled reference modality is an efficient solution. However, the misalignment between modalities, which is common in clinic practice, can negatively affect reconstruction quality. Existing deep learning-based methods that account for inter-modality misalignment perform better, but still share two main common limitations: (1) The spatial alignment task is not adaptively integrated with the reconstruction process, resulting in insufficient complementarity between the two tasks; (2) the entire framework has weak interpretability. In this paper, we construct a novel Deep Unfolding Network with Spatial Alignment, termed DUN-SA, to appropriately embed the spatial alignment task into the reconstruction process. Concretely, we derive a novel joint alignment-reconstruction model with a specially designed cross-modal spatial alignment term. By relaxing the model into cross-modal spatial alignment and multi-modal reconstruction tasks, we propose an effective algorithm to solve this model alternatively. Then, we unfold the iterative steps of the proposed algorithm and design corresponding network modules to build DUN-SA with interpretability. Through end-to-end training, we effectively compensate for spatial misalignment using only reconstruction loss, and utilize the progressively aligned reference modality to provide inter-modality prior to improve the reconstruction of the target modality. Comprehensive experiments on three real datasets demonstrate that our method exhibits superior reconstruction performance compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google