Mamba-Sea: A Mamba-based Framework with Global-to-Local Sequence Augmentation for Generalizable Medical Image Segmentation

要約

分布シフトで医療画像をセグメント化するために、ドメイン一般化（DG）は、目に見えないターゲットドメインに一般化できるソースドメインでモデルをトレーニングするための有望な設定として浮上しています。
既存のDGメソッドは、主にCNNまたはVITアーキテクチャに基づいています。
最近、Mambaが代表するAdvanced State Spaceモデルは、さまざまな監視された医療画像セグメンテーションで有望な結果を示しています。
Mambaの成功は、主に、入力シーケンスの長さと線形の複雑さを維持しながら長距離依存関係をキャプチャする能力により、CNNとvitsの有望な代替手段となっています。
この大成功に触発された論文では、医療画像セグメンテーションのDGの分布シフトに対処するマンバアーキテクチャの可能性を探ります。
具体的には、ドメインシフトの問題でのモデルの一般化可能性を改善するために、グローバルからローカルへのシーケンスの増強を組み込んだ新しいMambaベースのフレームワークMamba-SEAを提案します。
当社のMamba-SEAは、モデルの学習をドメイン固有の情報の学習を抑制することを目的とした、さまざまなサイトにわたる外観の潜在的な変動をシミュレートするように設計されたグローバルな増強メカニズムを導入しています。
ローカルレベルでは、ドメインシフトに関連するスタイル統計をモデリングおよびリサンプリングすることにより、ランダム連続サブシーケンス内のトークンのスタイルを妨害する入力シーケンスに沿ったシーケンスごとの増強を提案します。
私たちの最高の知識のために、Mamba-SEAは、医療画像セグメンテーションのためのMambaの一般化を探求する最初の研究であり、ドメインシフトに対する強い堅牢性を備えた高度で有望なMambaベースのアーキテクチャを提供します。
驚くべきことに、私たちの提案された方法は、前立腺データセットで90％のサイコロ係数を上回る最初の方法であり、これは以前のSOTA 88.61％を超えています。
このコードは、https：//github.com/orange-czh/mamba-seaで入手できます。

要約(オリジナル)

To segment medical images with distribution shifts, domain generalization (DG) has emerged as a promising setting to train models on source domains that can generalize to unseen target domains. Existing DG methods are mainly based on CNN or ViT architectures. Recently, advanced state space models, represented by Mamba, have shown promising results in various supervised medical image segmentation. The success of Mamba is primarily owing to its ability to capture long-range dependencies while keeping linear complexity with input sequence length, making it a promising alternative to CNNs and ViTs. Inspired by the success, in the paper, we explore the potential of the Mamba architecture to address distribution shifts in DG for medical image segmentation. Specifically, we propose a novel Mamba-based framework, Mamba-Sea, incorporating global-to-local sequence augmentation to improve the model’s generalizability under domain shift issues. Our Mamba-Sea introduces a global augmentation mechanism designed to simulate potential variations in appearance across different sites, aiming to suppress the model’s learning of domain-specific information. At the local level, we propose a sequence-wise augmentation along input sequences, which perturbs the style of tokens within random continuous sub-sequences by modeling and resampling style statistics associated with domain shifts. To our best knowledge, Mamba-Sea is the first work to explore the generalization of Mamba for medical image segmentation, providing an advanced and promising Mamba-based architecture with strong robustness to domain shifts. Remarkably, our proposed method is the first to surpass a Dice coefficient of 90% on the Prostate dataset, which exceeds previous SOTA of 88.61%. The code is available at https://github.com/orange-czh/Mamba-Sea.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google