DH-Mamba: Exploring Dual-domain Hierarchical State Space Models for MRI Reconstruction

要約

加速されたMRI再構成は、Kスペースの著しいアンダーサンプリングのために、挑戦的な不適切な逆問題を引き起こします。
CNNやVITなどの深いニューラルネットワークは、グローバルな受容フィールドと効率的な計算の間のジレンマに遭遇しながら、このタスクの大幅なパフォーマンスの改善を示しています。
この目的のために、このペーパーでは、効率的かつ効果的なMRI再構築のための、線形複雑さを伴う長距離依存モデリングの新しいパラダイムである選択的状態空間モデル（MAMBA）を探ります。
ただし、MRIの再構築に直接MAMBAを適用すると、3つの重要な問題に直面しています。（1）MAMBAは通常、2D画像を行と列に沿って異なる1Dシーケンスに平らにし、Kスペースのユニークなスペクトルを混乱させ、Kスペース学習の可能性を不明瞭にします。
（2）既存のアプローチは、多方向性の長いスキャンを採用して、ピクセルレベルで画像を展開し、長距離の忘却と高い計算負担をもたらします。
（3）マンバは空間的に変化する内容と闘い、地元の表現の多様性が限られている。
これらに対処するために、次の観点からMRI再構成のためのデュアルドメイン階層マンバを提案します。（1）Kスペース学習の先駆者ビジョンマンバ。
円形スキャンは、スペクトルの展開用にカスタマイズされ、Kスペースのグローバルモデリングに役立ちます。
（2）画像ドメインとKスペースドメインの両方で効率的なスキャン戦略を備えた階層マンバを提案します。
長距離の忘却を軽減し、効率とパフォーマンスの間のより良いトレードオフを達成します。
（3）MAMBAの空間的に変化する表現を改善するために、ローカルダイバーシティ強化モジュールを開発します。
さまざまなアンダーサンプリングパターンの下で、MRI再構成のための3つのパブリックデータセットで広範な実験が行われます。
包括的な結果は、この方法が計算コストが低い場合に最先端の方法を大幅に上回ることを示しています。

要約(オリジナル)

The accelerated MRI reconstruction poses a challenging ill-posed inverse problem due to the significant undersampling in k-space. Deep neural networks, such as CNNs and ViTs, have shown substantial performance improvements for this task while encountering the dilemma between global receptive fields and efficient computation. To this end, this paper explores selective state space models (Mamba), a new paradigm for long-range dependency modeling with linear complexity, for efficient and effective MRI reconstruction. However, directly applying Mamba to MRI reconstruction faces three significant issues: (1) Mamba typically flattens 2D images into distinct 1D sequences along rows and columns, disrupting k-space’s unique spectrum and leaving its potential in k-space learning unexplored. (2) Existing approaches adopt multi-directional lengthy scanning to unfold images at the pixel level, leading to long-range forgetting and high computational burden. (3) Mamba struggles with spatially-varying contents, resulting in limited diversity of local representations. To address these, we propose a dual-domain hierarchical Mamba for MRI reconstruction from the following perspectives: (1) We pioneer vision Mamba in k-space learning. A circular scanning is customized for spectrum unfolding, benefiting the global modeling of k-space. (2) We propose a hierarchical Mamba with an efficient scanning strategy in both image and k-space domains. It mitigates long-range forgetting and achieves a better trade-off between efficiency and performance. (3) We develop a local diversity enhancement module to improve the spatially-varying representation of Mamba. Extensive experiments are conducted on three public datasets for MRI reconstruction under various undersampling patterns. Comprehensive results demonstrate that our method significantly outperforms state-of-the-art methods with lower computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google