MambaMIR: An Arbitrary-Masked Mamba for Joint Medical Image Reconstruction and Uncertainty Estimation

要約

最近の Mamba モデルは、医療画像タスクなどの視覚表現学習に顕著な適応性を示しています。
この研究では、医療画像再構成用の Mamba ベースのモデルである MambaMIR と、その生成敵対的ネットワークベースのバリアントである MambaMIR-GAN を紹介します。
私たちが提案する MambaMIR は、線形の複雑さ、グローバルな受容野、動的重みなど、元の Mamba モデルからいくつかの利点を継承しています。
革新的な任意マスクメカニズムは、Mamba を画像再構成タスクに効果的に適応させ、その後のモンテカルロベースの不確実性推定にランダム性を提供します。
膝、胸部、腹部などの解剖学的領域をカバーする高速 MRI や SVCT などのさまざまな医療画像再構成タスクで行われた実験では、MambaMIR と MambaMIR-GAN が最新の医療画像再構成タスクと同等または優れた再構成結果を達成できることが実証されました。
-アートメソッド。
さらに、推定された不確実性マップは、再構成品質の信頼性についてのさらなる洞察を提供します。
コードは https://github.com/ayanglab/MambaMIR で公開されています。

要約(オリジナル)

The recent Mamba model has shown remarkable adaptability for visual representation learning, including in medical imaging tasks. This study introduces MambaMIR, a Mamba-based model for medical image reconstruction, as well as its Generative Adversarial Network-based variant, MambaMIR-GAN. Our proposed MambaMIR inherits several advantages, such as linear complexity, global receptive fields, and dynamic weights, from the original Mamba model. The innovated arbitrary-mask mechanism effectively adapt Mamba to our image reconstruction task, providing randomness for subsequent Monte Carlo-based uncertainty estimation. Experiments conducted on various medical image reconstruction tasks, including fast MRI and SVCT, which cover anatomical regions such as the knee, chest, and abdomen, have demonstrated that MambaMIR and MambaMIR-GAN achieve comparable or superior reconstruction results relative to state-of-the-art methods. Additionally, the estimated uncertainty maps offer further insights into the reliability of the reconstruction quality. The code is publicly available at https://github.com/ayanglab/MambaMIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google