Compound Attention and Neighbor Matching Network for Multi-contrast MRI Super-resolution

要約

マルチコントラスト磁気共鳴画像法 (MRI) は、人間の組織に関する情報をさまざまな視点から反映しており、多くの臨床用途があります。
異なるモダリティ間の補完的な情報を利用することにより、MRI のマルチコントラスト超解像 (SR) は単一画像超解像よりも優れた結果を達成できます。
ただし、マルチコントラスト MRI SR の既存の方法には、そのパフォーマンスを制限する可能性がある次の欠点があります。 まず、既存の方法は、参照特徴と劣化特徴を単純に連結するか、それらの間のグローバルな特徴マッチングを利用するため、マルチコントラスト MRI SR には適していません。
第二に、最近の手法の多くは空間次元での長距離依存性を捉えるために変換器を使用していますが、低レベルの視覚タスクではチャネル次元での自己注意も重要であることを無視しています。
これらの欠点に対処するために、私たちは、マルチコントラスト MRI SR 用の複合アテンションと近隣マッチング (CANM-Net) を備えた新しいネットワーク アーキテクチャを提案しました。複合セルフ アテンション メカニズムは、空間次元とチャネル次元の両方の依存関係を効果的に捕捉します。
近傍ベースの特徴マッチング モジュールを利用して、劣化した特徴と隣接する参照特徴を照合し、それらを融合して高品質の画像を取得します。
IXI、fastMRI、および実世界のスキャン データセットで SR タスクの実験を実施します。
CANM-Net は、遡及的実験と前向き実験の両方において、最先端のアプローチを上回ります。
さらに、私たちの研究による堅牢性の研究では、参照画像と劣化画像が不完全に登録されている場合でも CANM-Net が良好なパフォーマンスを達成し、臨床応用での優れた可能性を証明していることが示されています。

要約(オリジナル)

Multi-contrast magnetic resonance imaging (MRI) reflects information about human tissue from different perspectives and has many clinical applications. By utilizing the complementary information among different modalities, multi-contrast super-resolution (SR) of MRI can achieve better results than single-image super-resolution. However, existing methods of multi-contrast MRI SR have the following shortcomings that may limit their performance: First, existing methods either simply concatenate the reference and degraded features or exploit global feature-matching between them, which are unsuitable for multi-contrast MRI SR. Second, although many recent methods employ transformers to capture long-range dependencies in the spatial dimension, they neglect that self-attention in the channel dimension is also important for low-level vision tasks. To address these shortcomings, we proposed a novel network architecture with compound-attention and neighbor matching (CANM-Net) for multi-contrast MRI SR: The compound self-attention mechanism effectively captures the dependencies in both spatial and channel dimension; the neighborhood-based feature-matching modules are exploited to match degraded features and adjacent reference features and then fuse them to obtain the high-quality images. We conduct experiments of SR tasks on the IXI, fastMRI, and real-world scanning datasets. The CANM-Net outperforms state-of-the-art approaches in both retrospective and prospective experiments. Moreover, the robustness study in our work shows that the CANM-Net still achieves good performance when the reference and degraded images are imperfectly registered, proving good potential in clinical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google