Self-Prior Guided Mamba-UNet Networks for Medical Image Super-Resolution

要約

本稿では、医療画像の超解像のための自己優先誘導型Mamba-UNetネットワーク(SMamba-UNet)を提案する。
既存の手法は主に畳み込みニューラル ネットワーク (CNN) またはトランスフォーマーに基づいています。
CNN ベースの手法は長距離の依存関係を捉えることができませんが、Transformer ベースのアプローチは二次計算の複雑さのため、大きな計算の課題に直面しています。
最近、線形の計算複雑さで長距離の依存関係をモデル化できる状態空間モデル (SSM)、特に Mamba が登場しました。
Mamba に触発された私たちのアプローチは、Mamba-UNet ネットワークの下で自己優先マルチスケール コンテキスト特徴を学習することを目的としています。これは、低解像度の医療画像を効率的な方法で超解像するのに役立つ可能性があります。
具体的には、ネットワークトレーニング中に入力画像の輝度修復を摂動させることで自己事前分布を取得します。これにより、超解像に有益な詳細なテクスチャと輝度情報を学習できます。
さらに、Mamba と Unet ネットワークを組み合わせて、さまざまなレベルでグローバルな機能をマイニングします。
また、画像特徴を異なる方向シーケンスに分割して複数方向の長距離依存関係を学習し、シーケンス情報を適応的に融合して超解像特徴表現を強化する、改良された 2D 選択スキャン (ISS2D) モジュールも設計します。
定性的および定量的な実験結果は、私たちのアプローチが 2 つの公的医療データセット (IXI と fastMRI) に対する現在の最先端の方法よりも優れていることを示しています。

要約(オリジナル)

In this paper, we propose a self-prior guided Mamba-UNet network (SMamba-UNet) for medical image super-resolution. Existing methods are primarily based on convolutional neural networks (CNNs) or Transformers. CNNs-based methods fail to capture long-range dependencies, while Transformer-based approaches face heavy calculation challenges due to their quadratic computational complexity. Recently, State Space Models (SSMs) especially Mamba have emerged, capable of modeling long-range dependencies with linear computational complexity. Inspired by Mamba, our approach aims to learn the self-prior multi-scale contextual features under Mamba-UNet networks, which may help to super-resolve low-resolution medical images in an efficient way. Specifically, we obtain self-priors by perturbing the brightness inpainting of the input image during network training, which can learn detailed texture and brightness information that is beneficial for super-resolution. Furthermore, we combine Mamba with Unet network to mine global features at different levels. We also design an improved 2D-Selective-Scan (ISS2D) module to divide image features into different directional sequences to learn long-range dependencies in multiple directions, and adaptively fuse sequence information to enhance super-resolved feature representation. Both qualitative and quantitative experimental results demonstrate that our approach outperforms current state-of-the-art methods on two public medical datasets: the IXI and fastMRI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google